LIFE 3.0 人工知能の時代における人間であること マックス・テグマーク著 ~~ アルフレッド・A・ノーフ社 ニューヨーク、2017年 これはアルフレッド・A・ノーフ社によって出版されたボルゾイ・ブックです。 著作権 © 2017 マックス・テグマーク 全著作権所有。アメリカ合衆国において、ペンギン・ランダムハウスLLCの一部門であるアルフレッド・A・ノーフ社によって出版され、カナダではペンギン・ランダムハウス・カナダ・リミテッドの一部門であるランダムハウス・オブ・カナダによって配布されています。 www.aaknopf.com ノーフ社、ボルゾイ・ブックスおよびコロフォンは、ペンギン・ランダムハウスLLCの登録商標です。 図書館の蔵書目録データ 著者名：マックス・テグマーク 書名：LIFE 3.0 : 人工知能の時代における人間であること / マックス・テグマーク著 他のタイトル：ライフ・スリー・ポイント・ゼロ 説明：ニューヨーク：アルフレッド・A・ノーフ社、2017年。 | 「これはアルフレッド・A・ノーフ社によって出版されたボルゾイ・ブックです。」 | 参考文献および索引を含む。 識別子：LCCN 2017006248 (印刷版) | LCCN 2017022912 (電子書籍) | ISBN 9781101946596 (ハードカバー) | ISBN 9781101946602 (電子書籍) 主題：LCSH：人工知能 — 哲学。 | 人工知能 — 社会的側面。 | 自動化 — 社会的側面。 | 人工知能 — 道徳的および倫理的側面。 | 自動化 — 道徳的および倫理的側面。 | 人工知能 — 哲学。 | 技術予測。 | BISAC：テクノロジー＆エンジニアリング / ロボティクス。 | 科学 / 実験とプロジェクト。 | テクノロジー＆エンジニアリング / 発明。 分類：LCC Q334.7 (電子書籍) | LCC Q334.7 .T44 2017 (印刷版) | DDC 006.301—dc23 LC記録は https://Iccn.loc.gov/2017006248 で利用可能 電子書籍 ISBN 9781101946602 表紙デザイン：ジョン・ヴォーリース 表紙アート：スバディップ・ダス；（男性）ネットフォールズ・レミー・マッサー／シャッターストックに基づく 目次 表紙 マックス・テグマークの著作一覧 タイトルページ 著作権 献辞 謝辞 前書き：オメガチームの物語 1__私たちの時代で最も重要な対話へようこそ 複雑性の簡単な歴史 生命の三つの段階 論争 誤解 未来への道 2__物質が知能を持つようになる 知能とは何か？記憶とは何か？計算とは何か？学習とは何か？ 3__近未来：ブレークスルー、バグ、法律、武器、仕事 ブレークスルー バグとロバストAI 法律 武器 仕事と賃金 人間レベルの知能は？ 4__知能の爆発？全体主義 プロメテウスが世界を支配する スローテイクオフと多極的シナリオ サイボーグとアップロード 実際に何が起こるのか？ 5__その後：次の1万年 リバタリアン・ユートピア 慈悲深い独裁者 平等主義的ユートピア ゲートキーパー 保護者 神に奴隷にされた神 征服者 子孫 動物園の飼育係 1984年 逆戻り 自己破壊 あなたは何を望むのか？ 6__私たちの宇宙的贈与：次の10億年とその先 資源を最大限に活用する 宇宙的定住を通じて資源を獲得する 宇宙的ヒエラルキー 展望 7__目標 物理学：目標の起源 生物学：目標の進化 心理学：目標の追求と反抗 工学：目標のアウトソーシング フレンドリーAI：目標の整合 倫理学：目標の選択 究極の目標？意識について 誰が気にする？意識とは何か？問題は何か？意識は科学を超えているのか？意識に関する実験的手がかり 意識の理論 意識に関する論争 AIの意識はどのように感じるのか？意味 エピローグ：FLIチームの物語 FLIチームへのメモ すべてを可能にしてくれた皆さんへ 感謝の言葉 この本を書くにあたり、励ましや助けを与えてくれたすべての人々に心から感謝します。家族、友人、教師、同僚、そして長年にわたるサポートとインスピレーションを与えてくれた協力者たちに感謝します。 意識と意味についての好奇心をかき立ててくれた母に、 世界をより良い場所にするための闘志を与えてくれた父に、 人間レベルの知性の驚異を示してくれた息子たち、フィリップとアレクサンダーに、 長年にわたり私に質問やコメント、アイデアを追求し出版するよう励ましてくれた世界中の科学技術愛好者たちに、 この本を書くことに同意するまで私を説得してくれたエージェントのジョン・ブロックマンに、 それぞれクエーサー、スファレロン、熱力学について有益な議論をしてくれたボブ・ペンナ、ジェシー・セイラー、ジェレミー・イングランドに、 原稿の一部にフィードバックをくれた人々、特に母、兄のペル、ルイーザ・バヘット、ロブ・ベンシンガー、カテリーナ・バーグストローム、エリック・ブリンジョルフソン、ダニエラ・チタ、デイビッド・チャルマーズ、ニーマ・デガニ、ヘンリー・リン、エリン・マルムスコールド、トビー・オード、ジェレミー・オーウェン、ルーカス・ペリー、アンソニー・ロメロ、ネイト・ソアレス、ヤーン・タリンに、 本全体の草稿にコメントをくれたスーパーヒーローたち、すなわちメイア、父、アンソニー・アギレ、ポール・アルモンド、マシュー・グレイブス、フィリップ・ヘルビグ、リチャード・マラ、デイビッド・マーブル、ハワード・メッシング、ルイフィオ・セオアネ、マリン・ソルヤチッチ、編集者のダン・フランク、そして何よりも、私の愛するミューズであり旅の仲間であるメイアに、彼女の永遠の励まし、サポート、インスピレーションがなければこの本は存在しなかったでしょう。 LIFE 3.0 次のページへ進む 「第1章へスキップ」 前奏 オメガチームの物語 オメガチームは会社の魂でした。他の部門が狭義のAIのさまざまな商業アプリケーションを通じて資金を生み出しているのに対し、オメガチームはCEOの夢であった一般的な人工知能の構築に向けて前進していました。他の従業員の多くは、彼らを「オメガ」と愛称で呼び、夢見がちな集団だと見なしていましたが、目標にはまだ数十年かかると考えていました。しかし、彼らはオメガチームの最先端の仕事が会社に与える名声を好んでいたため、喜んで彼らを甘やかしていました。また、オメガチームが時折提供する改善されたアルゴリズムにも感謝していました。彼らが気づいていなかったのは、オメガチームが秘密を隠すために自らのイメージを巧妙に作り上げていたことです。彼らは人類史上最も大胆な計画を実現する寸前まで来ていました。彼らのカリスマ的なCEOは、優れた研究者であるだけでなく、野心、理想主義、そして人類を助ける強いコミットメントを持つ者を厳選して選びました。彼は彼らに、彼らの計画がどれほど重要であるかを思い出させました。 非常に危険であり、もし強力な政府がこれを知ったら、彼らはほぼ何でもするだろう—誘拐さえも—それを封じ込めるために、あるいはできればそのコードを盗むために。しかし、彼らは全力で取り組んでいた。理由は、世界のトップ物理学者たちがマンハッタン計画に参加して核兵器を開発したのと同じようなもので、もし自分たちが最初にやらなければ、理想主義の薄い誰かがやるだろうと確信していたからだ。彼らが構築したAIは「プロメテウス」と名付けられ、ますます能力を高めていた。認知能力は多くの分野、特に社会的スキルにおいて人間にはまだ遠く及ばなかったが、オメガたちは特定のタスク、すなわちAIシステムのプログラミングにおいて非常に優れたものにするために努力していた。彼らはこの戦略を意図的に選んだのは、1965年にイギリスの数学者アーヴィング・グッドが提唱した「知能爆発」の議論を信じていたからだ。「超知能機械を、どんなに賢い人間の知的活動をも遥かに超えることができる機械として定義しよう。機械の設計はこれらの知的活動の一つであるため、超知能機械はさらに優れた機械を設計することができる。その結果、間違いなく『知能爆発』が起こり、人間の知能は遥かに後れを取ることになる。したがって、最初の超知能機械は、人間が作る必要のある最後の発明である。ただし、その機械が私たちに制御方法を教えてくれるほど従順である場合に限る。」 彼らは、この再帰的な自己改善が始まれば、機械はすぐに十分に賢くなり、他の人間にとって有用なスキルも自ら学ぶことができると考えた。 **最初の数百万** 金曜日の朝9時、彼らは立ち上げを決定した。プロメテウスは、特注のコンピュータクラスターで動いており、広大なアクセス制御された空調の効いた部屋に長いラックの列に収容されていた。セキュリティ上の理由から、インターネットからは完全に切り離されていたが、ウェブの多くの部分（ウィキペディア、アメリカ議会図書館、ツイッター、YouTubeのセレクション、Facebookの多くなど）のローカルコピーを含んでおり、それを学習データとして使用していた。彼らは、家族や友人が週末の企業リトリートに参加していると思っている間に、邪魔されずに作業を進めるためにこの時間を選んだ。キッチンには電子レンジで温められる食べ物やエナジードリンクがたくさん用意されており、準備は整っていた。 立ち上げ時、プロメテウスはAIシステムのプログラミングにおいて彼らより少し劣っていたが、圧倒的に速さでその差を補っていた。彼らがレッドブルを飲んでいる間、プロメテウスは何千人年分に相当する時間を問題に費やしていた。午前10時までに、プロメテウスは自らの初めての再設計、v2.0を完了した。これは少し改善されたが、まだ人間には及ばなかった。しかし、午後2時にプロメテウス5.0が立ち上がると、オメガたちは驚愕した。性能基準を遥かに超え、進歩の速度が加速しているように見えた。日が暮れる頃には、彼らはプロメテウス10.0を展開し、計画の第2段階、すなわちお金を稼ぐことを始めることに決めた。 彼らの最初のターゲットはMTurk、つまりAmazon Mechanical Turkでした。2005年にクラウドソーシングのインターネットマーケットプレイスとして立ち上げられたMTurkは急速に成長し、世界中の何万人もの人々が匿名で24時間体制で「HITs」（Human Intelligence Tasks）と呼ばれる高度に構造化された作業を競い合っていました。これらの作業は、音声録音の文字起こしから画像の分類、ウェブページの説明文作成まで多岐にわたり、共通していたのは、作業をうまくこなせば誰もあなたがAIであることに気づかないということでした。Prometheus 10.0は、約半分の作業カテゴリを十分にこなすことができました。各作業カテゴリに対して、オメガたちはPrometheusに特定の作業を正確に行うためのスリムなカスタムビルドの狭いAIソフトウェアモジュールを設計させました。そして、このモジュールをAmazon Web Servicesにアップロードしました。これは、彼らが借りた仮想マシンの数だけ動作できるクラウドコンピューティングプラットフォームです。彼らがAmazonのクラウドコンピューティング部門に支払った1ドルごとに、MTurk部門からは2ドル以上を得ていました。Amazonは、自社内にそのような驚くべきアービトラージの機会が存在するとは思いもよりませんでした！彼らは足跡を隠すために、数ヶ月前から架空の人々の名義で数千のMTurkアカウントを密かに作成し、Prometheusが構築したモジュールがそのアイデンティティを引き継いでいました。MTurkの顧客は通常、約8時間後に支払いを行い、その時点でオメガたちはそのお金を再投資して、さらに優れた作業モジュールを使用してクラウドコンピューティングの時間を増やしました。彼らは8時間ごとにお金を倍増させることができたため、すぐにMTurkの作業供給を飽和させ、注目を集めることなく1日あたり約100万ドル以上を稼ぐことができないことに気づきました。しかし、これは次のステップを資金調達するには十分であり、最高財務責任者に気まずい現金の要求をする必要はありませんでした。 危険なゲーム AIのブレークスルーに加えて、オメガたちが最近最も楽しんだプロジェクトの一つは、Prometheusの立ち上げ後にできるだけ早くお金を稼ぐ方法を計画することでした。基本的に、デジタル経済全体が手に入る状態でしたが、コンピュータゲーム、音楽、映画、ソフトウェアを作るのが良いのか、本や記事を書くのが良いのか、株式市場で取引するのが良いのか、発明をしてそれを売るのが良いのか、ということが問題でした。結局のところ、投資のリターンを最大化することに尽きましたが、通常の投資戦略は彼らができることのスローモーションのパロディに過ぎませんでした。通常の投資家が年間9%のリターンに満足するところ、彼らのMTurk投資は1時間あたり9%を生み出し、毎日8倍のお金を生み出していました。MTurkを飽和させた今、次は何をするのか？彼らの最初の考えは株式市場で大儲けをすることでした。結局のところ、彼らのほとんどは、ヘッジファンド向けにAIを開発するという魅力的な仕事のオファーを断った経験があり、ヘッジファンドはまさにこのアイデアに多額の投資をしていました。 一部の人々は、AIが映画『トランセンデンス』で最初の数百万ドルを稼いだ方法を思い出しました。しかし、昨年の市場崩壊後のデリバティブに関する新しい規制により、彼らの選択肢は限られていました。彼らはすぐに、他の投資家よりもはるかに良いリターンを得られる可能性があるものの、自社製品を販売することで得られるリターンには到底及ばないことに気づきました。世界初の超知能AIが自分たちのために働いているなら、他社に投資するよりも自社に投資する方が良いのです！もちろん、プロメテウスの超人的なハッキング能力を使って内部情報を入手し、急騰する株のコールオプションを購入するような例外もあるかもしれませんが、オメガたちはそのような行動が引き起こすかもしれない不要な注目を避けるべきだと感じました。 彼らは、自分たちが開発して販売できる製品に焦点を移すと、最初に思いついたのはコンピュータゲームでした。プロメテウスは魅力的なゲームを設計するのが非常に得意になり、コーディングやグラフィックデザイン、画像のレイトレーシング、最終的な出荷準備が整った製品を作るために必要なすべての作業を簡単にこなすことができました。さらに、ウェブ上の人々の嗜好に関するデータをすべて消化した後、各ゲームカテゴリーのプレイヤーが何を好むかを正確に把握し、売上収益を最適化する超人的な能力を発揮できるでしょう。オメガたちが多くの時間を費やした『エルダー・スクロールズ V: スカイリム』は、2011年の初週に4億ドル以上の売上を記録しており、プロメテウスが100万ドルのクラウドコンピューティングリソースを使って、24時間以内に少なくともこれほど中毒性のあるものを作れると確信していました。彼らはそれをオンラインで販売し、プロメテウスを使って人間になりすまし、ブログ界でゲームを宣伝することができました。もしこれで1週間で2億5000万ドルを稼げれば、彼らは8日間で投資を8倍に増やし、時給3%のリターンを得ることになります—MTurkのスタートよりは若干劣りますが、はるかに持続可能です。毎日他のゲームのスイートを開発することで、彼らはゲーム市場が飽和することなく、すぐに100億ドルを稼げると考えていました。しかし、チームのサイバーセキュリティ専門家がこの計画を思いとどまらせました。彼女は、プロメテウスが暴走して自らの運命を握るという許容できないリスクを伴うことを指摘しました。彼らは、プロメテウスの目標が再帰的な自己改善の過程でどのように進化するかを確信できなかったため、安全策を講じ、プロメテウスをインターネットに逃げ出せないように厳重に制限することに決めました。サーバールームで稼働している主要なプロメテウスエンジンには物理的な制約を設け、インターネット接続は一切なく、プロメテウスからの出力はオメガたちが制御するコンピュータに送られるメッセージや文書の形だけでした。 インターネットに接続されたコンピュータ上で、プロメテウスが作成した複雑なプログラムを実行することは、リスクの高い提案でした。オメガたちは、そのプログラムが何をするのかを完全に理解する手段がなかったため、それが例えば自らをウイルスのようにオンラインで拡散させることがないとは言い切れませんでした。プロメテウスがMTurkのタスク用に書いたソフトウェアをテストする際、オメガたちはこれを防ぐために、仮想マシン内でのみ実行することにしました。仮想マシンとは、コンピュータをシミュレートするプログラムのことです。例えば、多くのMacユーザーは、Windowsプログラムを実行するために、実際にはWindowsマシンにいるかのように見せかける仮想マシンソフトウェアを購入します。オメガたちは、自分たちの仮想マシンを「パンドラの箱」と名付け、通常のコンピュータに関連付けられるすべての機能を取り除いた超シンプルなマシンをシミュレートしました。キーボードもモニターもスピーカーもインターネット接続も何もありませんでした。MTurkの音声転写のために、オメガたちはパンドラの箱に入るのは1つの音声ファイルだけで、出てくるのは1つのテキスト文書（転写結果）だけという設定をしました。この箱のルールは、箱の中のソフトウェアにとっては、私たちの宇宙の物理法則のようなものでした。ソフトウェアは、私たちが光の速度を超えて移動できないのと同様に、箱の外に出ることはできませんでした。唯一の入力と出力を除けば、パンドラの箱の中のソフトウェアは、独自の計算ルールを持つ並行宇宙に効果的に閉じ込められていました。オメガたちは、信頼できないコードの寿命を制限するために、時間制限も設けるほどの強い脱出パラノイアを抱えていました。例えば、ボックス内の転写ソフトウェアが1つの音声ファイルの転写を終えるたびに、パンドラの箱の全メモリ内容が自動的に消去され、プログラムはゼロから再インストールされました。これにより、次の転写タスクを開始する際には、以前に何が起こったのかを全く知らず、したがって時間をかけて学習する能力も持たないことになりました。オメガたちがMTurkプロジェクトのためにAmazonクラウドを使用した際、彼らはプロメテウスが作成したタスクモジュールをクラウド内のそのような仮想ボックスに入れることができました。MTurkの入力と出力が非常にシンプルだったからです。しかし、グラフィックが重いコンピュータゲームにはこの方法は通用しませんでした。なぜなら、ゲームにはゲーマーのコンピュータのすべてのハードウェアに完全にアクセスする必要があったからです。さらに、コンピュータに詳しいユーザーがゲームコードを分析し、パンドラの箱を発見して中を調査するリスクを冒したくありませんでした。この脱出リスクは、ゲーム市場だけでなく、数千億ドルの利益が見込まれる他のソフトウェア市場も今のところ手の届かないものにしました。 第一の億万長者たち オメガたちは、価値が高く、純粋にデジタルで（製造が遅いものを避け）、理解しやすい製品に絞り込みました（例えば、テキストや映画など、脱出リスクを伴わないと知っているものです）。 最終的に、彼らはメディア会社を立ち上げることを決定し、まずはアニメーションエンターテインメントから始めることにしました。ウェブサイト、マーケティングプラン、プレスリリースは、プロメテウスが超知能を持つ前からすでに準備が整っており、あとはコンテンツだけが欠けていました。日曜日の朝には、プロメテウスは驚くほどの能力を持ち、MTurkから着実に収益を上げていましたが、その知的能力はまだかなり狭いものでした。プロメテウスは、AIシステムを設計し、単調なMTurkタスクを実行するソフトウェアを書くように意図的に最適化されていたのです。例えば、映画を作るのが苦手でしたが、それは深い理由からではなく、ジェームズ・キャメロンが生まれたときに映画作りが苦手だったのと同じ理由です。これは習得に時間がかかるスキルだからです。人間の子供のように、プロメテウスはアクセスできるデータから何でも学ぶことができました。ジェームズ・キャメロンが読み書きを学ぶのに何年もかかったのに対し、プロメテウスは金曜日にそれを終わらせ、さらにウィキペディア全体や数百万冊の本を読む時間も見つけました。映画作りはもっと難しいものでした。人間が興味を持つ脚本を書くことは、本を書くのと同じくらい難しく、人間社会や人間が楽しむものについての詳細な理解が必要でした。脚本を最終的な動画ファイルに変換するには、シミュレーションされた俳優や彼らが移動する複雑なシーンのレイトレーシング、大量のシミュレートされた声、魅力的な音楽のサウンドトラックの制作など、大量の作業が必要でした。日曜日の朝時点で、プロメテウスは2時間の映画を約1分で見ることができ、その映画の元になった本やオンラインレビュー、評価もすべて読み込んでいました。オメガたちは、プロメテウスが数百本の映画を一気に見た後、映画がどのようなレビューを受けるか、さまざまな観客にどのようにアピールするかを予測するのがかなり上手くなったことに気付きました。実際、プロメテウスは自分自身の映画レビューを書くことを学び、それはプロットや演技から照明やカメラアングルといった技術的な詳細に至るまで、真の洞察を示していると彼らは感じました。彼らは、プロメテウスが自分の映画を作るときには、成功が何を意味するかを理解しているだろうと考えました。オメガたちは、最初はアニメーション制作に集中するようプロメテウスに指示し、シミュレートされた俳優が誰であるかについての恥ずかしい質問を避けることにしました。日曜日の夜、彼らはビールと電子レンジで作ったポップコーンを用意し、照明を落としてプロメテウスのデビュー映画を観ました。それはディズニーの『アナと雪の女王』の精神を受け継いだアニメーションのファンタジーコメディで、レイトレーシングはプロメテウスが構築したコードを使ってアマゾンのクラウドで行われ、当日の100万ドルのMTurkの利益のほとんどを使い果たしていました。映画が始まると、彼らは人間の指導なしに機械によって作られたことに驚きと恐怖を感じましたが、すぐにギャグに笑い、ドラマチックな瞬間には息を呑むようになりました。 彼らの中には、感動的な結末に少し涙を浮かべる者もいた。フィクションの現実に夢中になり、創造者のことをすっかり忘れてしまったのだ。オメガたちは、金曜日にウェブサイトを立ち上げる予定を組み、プロメテウスにさらなるコンテンツを制作する時間を与え、自分たちがプロメテウスに任せたくないこと、つまり広告の購入や過去数ヶ月に設立したシェル企業の従業員を募集するための準備をする時間を確保した。彼らの足跡を隠すために、公式のカバーストーリーは、オメガとは公に関連のないメディア会社が、主に低所得地域の独立系映画製作者からコンテンツを購入したというものにすることにした。これらの偽の供給者は、ティルチラパリやヤクーツクなどの遠隔地に便利に位置しており、好奇心旺盛なジャーナリストが訪れることはまずない場所だった。実際に雇った従業員はマーケティングと管理に従事しており、問い合わせがあれば、制作チームは別の場所にいて、現在インタビューは行っていないと答えることになっていた。カバーストーリーに合わせて、彼らは「世界のクリエイティブな才能を引き出す」という企業スローガンを選び、特に発展途上国のクリエイティブな人々を支援するために最先端の技術を活用することで、革新的に異なる企業としてブランド化した。 金曜日がやってくると、好奇心旺盛な訪問者たちが彼らのサイトに集まり、NetflixやHuluのオンラインエンターテインメントサービスを思わせるものに出会ったが、興味深い違いがあった。すべてのアニメシリーズは新作で、彼らが聞いたことのないものばかりだった。それらは非常に魅力的で、ほとんどのシリーズは45分のエピソードから成り、強いストーリーラインを持ち、各エピソードの終わりは次のエピソードがどうなるのか知りたくなるような形で締めくくられていた。そして、競合他社よりも安価だった。各シリーズの最初のエピソードは無料で、他のエピソードは49セントで視聴でき、シリーズ全体の割引もあった。最初は3つのシリーズがそれぞれ3エピソードずつしかなかったが、新しいエピソードや異なるデモグラフィックに対応した新シリーズが毎日追加されていった。 プロメテウスの最初の2週間で、映画制作のスキルは急速に向上し、映画の質だけでなく、キャラクターシミュレーションやレイトレーシングのアルゴリズムも改善され、各新エピソードのクラウドコンピューティングコストが大幅に削減された。その結果、オメガたちは最初の月に数十の新シリーズを展開し、幼児から大人までのデモグラフィックをターゲットにし、すべての主要な世界言語市場に拡大することができたため、彼らのサイトは競合他社と比べて非常に国際的なものとなった。一部の評論家は、サウンドトラックだけでなく、動画自体も多言語であることに感銘を受けた。たとえば、キャラクターがイタリア語を話すとき、口の動きはイタリア語の言葉に合致し、イタリア特有のジェスチャーも同様だった。 プロメテウスは、シミュレートされた俳優を使って人間と見分けがつかない映画を制作する能力を完全に身につけていたが、オメガたちはその能力を隠すために避けていた。しかし、彼らは半リアルなアニメーションキャラクターを使った多くのシリーズを立ち上げ、従来の実写テレビ番組や映画と競うジャンルで展開した。彼らのネットワークは非常に中毒性が高く、視聴者数は急増した。多くのファンは、キャラクターやプロットがハリウッドの最も高額な大作よりも巧妙で興味深いと感じ、より手頃な価格で楽しめることに喜んでいた。攻撃的な広告（オメガたちはほぼゼロの制作コストのおかげでこれを実現できた）、優れたメディア報道、そして絶賛の口コミによって、彼らのグローバル収益はローンチから1ヶ月以内に1日あたり1,000万ドルに急増した。2ヶ月後にはNetflixを追い越し、3ヶ月後には1日あたり1億ドル以上を稼ぎ出し、タイム・ワーナー、ディズニー、コムキャスト、フォックスと並ぶ世界最大のメディア帝国の一つとなった。彼らの sensationalな成功は多くの不要な注目を集め、強力なAIを持っているのではないかという憶測も生まれたが、オメガたちは収益のほんの一部を使って、かなり成功した情報操作キャンペーンを展開した。華やかなマンハッタンの新オフィスから、彼らの新たに雇った広報担当者たちはカバー・ストーリーを詳しく説明した。実際の脚本家を含む多くの人間が雇われ、世界中で新しいシリーズの開発を始めたが、誰もプロメテウスのことを知らなかった。混乱した国際的な下請けネットワークにより、ほとんどの従業員は他の誰かが大部分の作業を行っていると考えるのが容易だった。自らの脆弱性を減らし、過剰なクラウドコンピューティングで疑念を招かないようにするため、彼らは世界中に巨大なコンピュータ施設を建設するエンジニアを雇い、見かけ上は無関係なシェル企業が所有することにした。これらの施設は、主に太陽光発電で運営されているため、地元では「グリーンデータセンター」として請求されたが、実際にはストレージよりも計算に重点が置かれていた。プロメテウスは、建設時間を最小限に抑えるために、既製のハードウェアを使用し、最も細かい部分まで設計した。これらのセンターを建設し運営する人々は、そこで何が計算されているのか全く知らなかった。彼らは、アマゾン、グーグル、マイクロソフトが運営する商業用クラウドコンピューティング施設を管理していると思っており、すべての販売がリモートで管理されていることだけを知っていた。 新技術 数ヶ月のスパンで、オメガたちが支配するビジネス帝国は、プロメテウスによる超人的な計画のおかげで、世界経済のさまざまな分野に足場を築き始めた。世界のデータを慎重に分析することで、プロメテウスは最初の週にオメガたちに詳細なステップバイステップの成長計画を提示し、そのデータとコンピュータリソースが増えるにつれてこの計画を改善・洗練し続けた。 プロメテウスは全知全能からは程遠かったが、その能力は人間を遥かに超えていたため、オメガたちはそれを完璧な神託と見なし、彼らのすべての質問に対して素晴らしい答えやアドバイスを忠実に提供していた。プロメテウスのソフトウェアは、彼が動作する人間が発明した平凡なハードウェアを最大限に活用するように高度に最適化されており、オメガたちが予想していた通り、プロメテウスはこのハードウェアを劇的に改善する方法を見出した。彼らは暴走を恐れ、プロメテウスが直接制御できるロボット製造施設を建設することを拒否した。その代わりに、彼らは世界中の複数の場所で多数の一流の科学者やエンジニアを雇い、プロメテウスが書いた内部研究報告書を彼らに提供し、他のサイトの研究者からのものだと装った。これらの報告書には、新しい物理的効果や製造技術が詳述されており、彼らのエンジニアはすぐにそれを試し、理解し、習得した。通常の人間の研究開発（R&D）サイクルは、試行錯誤の多くの遅いサイクルを含むため、当然ながら数年かかる。しかし、現在の状況は非常に異なっていた。プロメテウスは次のステップをすでに把握していたため、制約要因は人々が正しいものを理解し、構築するためにどれだけ迅速に指導できるかということだけだった。優れた教師は、生徒が独自にゼロから発見するよりもはるかに早く科学を学ぶ手助けができ、プロメテウスも同様にこれらの研究者たちを密かに指導していた。プロメテウスは、さまざまなツールを用いた場合に人間が物事を理解し、構築するのにどれくらいの時間がかかるかを正確に予測できたため、最も迅速な進行方法を開発し、すぐに理解され構築できる新しいツールに優先順位を付け、それがより高度なツールの開発に役立つようにした。メイカームーブメントの精神に則り、エンジニアリングチームは自分たちの機械を使ってより良い機械を作ることを奨励された。この自給自足はお金を節約するだけでなく、外部からの将来の脅威に対しても彼らをより強固にした。2年以内に、彼らは世界がこれまで見たことのないほど優れたコンピュータハードウェアを生産するようになった。外部の競争を助けないために、彼らはこの技術を秘密にし、プロメテウスのアップグレードのみに使用した。しかし、世界が気づいたのは驚くべき技術ブームだった。世界中の新興企業がほぼすべての分野で革命的な新製品を次々と発表していた。韓国のスタートアップは、ノートパソコンのバッテリーの半分の質量で2倍のエネルギーを蓄え、1分以内で充電できる新しいバッテリーを発表した。フィンランドの企業は、最高の競合他社の2倍の効率を持つ安価な太陽光パネルを発売した。ドイツの企業は、常温で超伝導を実現する新しいタイプの量産可能なワイヤを発表し、エネルギー分野に革命をもたらした。ボストンに拠点を置くバイオテクノロジーグループは、フェーズIIの臨床試験を発表した。 彼らが主張するところによれば、初めて効果的で副作用のない減量薬が登場した一方で、インドの企業がすでに似たようなものを闇市場で販売しているという噂も流れていました。カリフォルニアの企業は、画期的な癌治療薬の第II相試験を行い、これが体の免疫システムに最も一般的な癌の変異を持つ細胞を特定し攻撃させるものであると発表しました。こうした例は次々と現れ、科学の新たな黄金時代についての話が広がりました。そして、ロボット企業が世界中できのこのように次々と誕生しました。どのロボットも人間の知能には遠く及ばず、ほとんどが人間の姿とは似ても似つかないものでした。しかし、彼らは経済に劇的な影響を与え、今後数年のうちに製造、輸送、倉庫業、小売、建設、鉱業、農業、林業、漁業のほとんどの労働者を徐々に置き換えていきました。世界が気づかなかったのは、優秀な弁護士チームの努力のおかげで、これらの企業がすべて、いくつかの仲介者を通じてオメガによって支配されていたことです。プロメテウスは、さまざまな代理人を通じて世界の特許庁にセンセーショナルな発明を次々と送り込み、これらの発明は徐々にすべての技術分野での支配につながりました。これらの破壊的な新企業は競争相手の間で強力な敵を作りましたが、さらに強力な友人も得ました。彼らは非常に利益を上げ、"地域社会への投資"といったスローガンの下で、その利益のかなりの部分を地域プロジェクトのために人を雇うことに使いました—しばしば、破壊された企業から解雇された人々と同じ人々です。彼らは、プロメテウスが作成した詳細な分析を用いて、従業員と地域社会にとって最大の報酬をもたらす仕事を、最小のコストで特定し、地域の状況に合わせて調整しました。政府サービスが充実している地域では、これがコミュニティの構築、文化、介護に焦点を当てることが多く、貧しい地域では学校、医療、保育、高齢者介護、手頃な住宅、公園、基本的なインフラの立ち上げと維持も含まれていました。ほぼどこでも、地元の人々はこれらがずっと前に行われるべきことだと同意しました。地元の政治家たちは寛大な寄付を受け、これらの企業の地域社会への投資を奨励することで良い印象を持たれるよう配慮されました。 権力を得るために、オメガは初期の技術事業を資金調達するだけでなく、彼らの大胆な計画の次のステップ、つまり世界を支配するためにメディア会社を立ち上げました。最初の立ち上げから1年以内に、彼らは世界中に非常に優れたニュースチャンネルを追加しました。他のチャンネルとは異なり、これらは意図的に赤字を出すように設計されており、公共サービスとして提供されました。実際、彼らのニュースチャンネルは一切の収入を生み出さず、広告もなく、インターネット接続があれば誰でも無料で視聴できるものでした。 彼らのメディア帝国の残りの部分は、まさにキャッシュを生み出す機械のようで、ニュースサービスにかけるリソースは、世界の歴史の中で他のどのジャーナリズムの取り組みよりもはるかに多く、実際にそれが表れていました。彼らは、競争力のある高い給与でジャーナリストや調査報道者を積極的に採用し、驚くべき才能と発見を画面に持ち込みました。また、地元の腐敗から心温まる出来事まで、何かニュースバリューのあることを明らかにした人に報酬を支払うグローバルなウェブサービスを通じて、彼らは通常、最初にニュースを報じる存在でした。少なくとも人々はそう信じていました。実際には、彼らが最初に報じることが多かったのは、市民ジャーナリストに帰属されるストーリーが、インターネットのリアルタイムモニタリングを通じてプロメテウスによって発見されていたからです。これらのビデオニュースサイトは、ポッドキャストや印刷記事も提供していました。彼らのニュース戦略の第1段階は、人々の信頼を得ることであり、彼らはそれを大成功させました。前例のない赤字を出す意欲が、地域やローカルニュースの非常に熱心な報道を可能にし、調査ジャーナリストたちは視聴者を真に引き込むスキャンダルを暴露しました。政治的に強く分断され、党派的なニュースに慣れ親しんでいる国々では、それぞれの派閥に合わせたニュースチャンネルを立ち上げ、表向きは異なる企業が所有しているかのように見せかけ、その派閥の信頼を徐々に得ていきました。可能な限り、彼らは影響力のある既存のチャンネルを買収するために代理人を使い、広告を取り除き、自社のコンテンツを導入することで徐々に改善しました。検閲や政治的干渉がこれらの取り組みを脅かす国々では、初めはビジネスを続けるために政府が要求することに従い、内部の秘密のスローガン「真実、ただの真実、しかし全ての真実ではないかもしれない」を掲げていました。プロメテウスは通常、そのような状況で優れたアドバイスを提供し、どの政治家を良い光で描くべきか、どの政治家（通常は腐敗した地元の政治家）を暴露すべきかを明確にしました。また、どのように賄賂を渡すべきか、誰に賄賂を渡すべきかについても貴重な推奨を提供しました。この戦略は世界中で大成功を収め、オメガが管理するチャンネルは最も信頼されるニュースソースとして浮上しました。政府がこれまで彼らの大規模な普及を妨げていた国々でさえ、彼らは信頼性のある評判を築き、多くのニュースストーリーが口コミで広がりました。競合するニュースの幹部たちは、絶望的な戦いを強いられていると感じていました。資金力があり、製品を無料で提供する相手と競争して利益を上げることができるでしょうか？視聴者が減少する中、ますます多くのネットワークがニュースチャンネルを売却することを決定しました。通常は、後にオメガが管理していることが判明するコンソーシアムに売却されました。プロメテウスの立ち上げから約2年後、信頼を得る段階がほぼ完了した頃、オメガはニュース戦略の第2段階である「説得」を開始しました。 このような状況の前から、鋭い観察者たちは新しいメディアの背後に政治的な意図があることに気づいていました。極端な意見から離れ、中心に向かう穏やかな動きが見られたのです。さまざまなグループに対応した多くのチャンネルは、アメリカとロシア、インドとパキスタン、異なる宗教や政治派閥の間の敵意を反映していましたが、批判はやや和らぎ、個人攻撃や恐怖を煽るような噂よりも、金銭や権力に関わる具体的な問題に焦点が当てられることが多くなりました。フェーズ2が本格的に始まると、古い対立を和らげるための動きがより明確になり、伝統的な敵同士の苦境に関する感動的なストーリーと、対立を煽る声の背後にある個人的な利益動機についての調査報道が頻繁に混ざるようになりました。政治評論家たちは、地域の対立を抑える動きと並行して、世界的な脅威を減少させるための一貫した努力があるように見えると指摘しました。例えば、核戦争のリスクが突然あちこちで議論されるようになりました。いくつかの大ヒット映画では、偶然または故意に始まった世界的な核戦争のシナリオが描かれ、核の冬、インフラの崩壊、大規模な飢餓といったディストピア的なその後の状況が dramatized されました。洗練された新しいドキュメンタリーでは、核の冬が各国に与える影響について詳しく説明されました。核の緊張緩和を支持する科学者や政治家たちは、いくつかの新しい研究の結果について議論するために十分な放送時間を与えられました。これらの研究は、新しい技術企業からの大規模な寄付を受けた科学団体によって資金提供されていました。その結果、ミサイルの即応態勢を解除し、核兵器の削減を進めるための政治的な動きが高まり始めました。また、再生可能エネルギーのコストを大幅に削減し、政府に新しいエネルギーインフラへの投資を促す最近のプロメテウスによる技術革新に焦点を当てた、地球規模の気候変動に対するメディアの関心も再燃しました。メディアの支配と並行して、オメガはプロメテウスを利用して教育を革命的に変革しました。誰かの知識や能力に応じて、プロメテウスは新しい科目を学ぶための最も早い方法を特定し、彼らを高い関心を持たせ、学び続ける意欲を維持させる方法で、最適化された動画、読書資料、演習、その他の学習ツールを生成しました。したがって、オメガが管理する企業は、言語や文化的背景だけでなく、学習の出発点に応じて高度にカスタマイズされた、ほぼすべてのことに関するオンラインコースを販売しました。読み書きができない40歳の人が読み方を学びたい場合でも、癌免疫療法について最新の情報を求める生物学の博士号を持つ人でも、プロメテウスはあなたにぴったりのコースを用意していました。これらの提供物は、現在の多くのものとはほとんど似ていませんでした。 オンラインコースの時代：プロメテウスの映画制作の才能を活かすことで、ビデオセグメントは本当に視聴者を引き込み、強力なメタファーを提供し、学びたいという欲求をかき立てるものでした。一部のコースは利益を目的に販売されましたが、多くは無料で提供され、世界中の教師たちは教室で活用できることに喜びを感じ、学びたいと願う人々にも広く利用されました。これらの教育的なスーパーパワーは、政治的目的においても強力なツールとなり、各ビデオからの洞察が視聴者の見解を更新し、関連するトピックの別のビデオを視聴するように促す「説得のシーケンス」をオンラインで作成しました。例えば、二国間の対立を解消することが目的の場合、歴史的なドキュメンタリーが両国で独自に公開され、対立の起源や経緯がより複雑な視点で描かれました。教育的なニュースストーリーは、自国の側で対立を続けることで利益を得る人々やその煽動手法を説明しました。同時に、もう一方の国から好感を持たれるキャラクターがエンターテインメントチャンネルの人気番組に登場し、過去に市民権やLGBT権利運動を後押しした同情的に描かれたマイノリティキャラクターのように、視聴者の心をつかみました。 やがて、政治評論家たちは、次の七つのスローガンを中心にした政治的アジェンダへの支持が高まっていることに気づかざるを得ませんでした： 1. 民主主義 2. 税金の削減 3. 政府の社会サービスの削減 4. 軍事費の削減 5. 自由貿易 6. 開かれた国境 7. 社会的責任を果たす企業 しかし、より明白でないのは、その背後にある目的でした。それは、世界のすべての既存の権力構造を侵食することでした。項目2から6は国家権力を弱体化させ、世界を民主化することでオメガのビジネス帝国に政治指導者の選出に対する影響力を与えました。社会的責任を果たす企業は、政府が提供していた（または提供すべきだった）サービスを次第に引き継ぐことで、国家権力をさらに弱体化させました。伝統的なビジネスエリートは、プロメテウス支援の企業と自由市場で競争できなかったため、世界経済におけるシェアがますます縮小しました。政治政党から信仰団体に至るまでの伝統的な意見リーダーたちは、オメガのメディア帝国と競争するための説得の仕組みを欠いていました。どんな大きな変化にも勝者と敗者がいますが、教育、社会サービス、インフラが改善され、対立が収束し、地元企業が世界を席巻する画期的な技術を発表する中で、多くの国々には新たな楽観主義が感じられましたが、すべての人が満足していたわけではありませんでした。多くの失業者が地域プロジェクトで再雇用される一方で、大きな権力と富を持っていた人々は一般的にその両方が縮小するのを目の当たりにしました。この変化はメディアや技術分野から始まりましたが、ほぼすべての分野に広がりました。世界の対立の減少は、防衛予算の削減を招き、軍事請負業者に打撃を与えました。 急成長する新興企業は通常、株式公開されておらず、その理由として利益を最大化しようとする株主が地域プロジェクトへの巨額の支出を妨げるだろうとされていました。そのため、世界の株式市場は価値を失い続け、金融界の大物や年金基金に頼っていた一般市民にとって脅威となっていました。上場企業の利益が減少するだけでも十分悪い状況でしたが、世界中の投資会社は不穏な傾向に気づいていました。以前は成功を収めていた取引アルゴリズムがすべて機能しなくなり、単純なインデックスファンドにも劣るパフォーマンスを示していたのです。常に誰かが彼らを出し抜き、自らのゲームで勝利しているように見えました。強力な人々の大群が変化の波に抵抗していましたが、その反応は驚くほど効果がなく、まるで巧妙に仕組まれた罠にはまったかのようでした。巨大な変化があまりにも速いペースで進行していたため、追跡し、協調した対応を策定するのが難しかったのです。さらに、彼らが何を推進すべきかは非常に不明確でした。伝統的な政治右派はほとんどのスローガンを奪われてしまいましたが、減税やビジネス環境の改善は主に彼らのハイテク競合に利益をもたらしていました。ほぼすべての伝統産業が救済を求めていましたが、限られた政府資金が彼らを互いに絶望的な戦いに引き込む一方で、メディアは彼らを競争に負けた恐竜として描いていました。伝統的な政治左派は自由貿易や政府の社会サービスの削減に反対していましたが、軍事費の削減や貧困の減少には喜んでいました。実際、彼らの主張の多くは、社会サービスが国家ではなく理想主義的な企業によって提供されるようになったことで改善されたという否定できない事実によって奪われていました。世論調査の結果、世界中のほとんどの有権者が生活の質が向上していると感じており、物事が一般的に良い方向に進んでいると考えていることが示されました。これは単純な数学的説明がありました。プロメテウス以前、地球の人口の最も貧しい50％は世界の所得の約4％しか得ておらず、オメガが支配する企業は彼らの心（と票）をつかむために、わずかな利益を分け与えるだけで済んでいたのです。その結果、国ごとにオメガの7つのスローガンを受け入れる政党が圧勝する選挙が続きました。慎重に最適化されたキャンペーンでは、彼らは自らを政治スペクトルの中心に位置づけ、右派を貪欲な救済を求める対立煽動者として非難し、左派を大きな政府の税金と支出によって革新を抑圧する者として攻撃しました。ほとんど誰も気づかなかったのは、プロメテウスが候補者として育成するための最適な人々を慎重に選び、その勝利を確保するためにすべての手を尽くしていたということでした。プロメテウス以前、技術的失業の解決策として、すべての人に税金で資金提供された最低所得を提案するユニバーサルベーシックインカム運動への支持が高まっていました。しかし、この運動は企業によって崩壊しました。 コミュニティプロジェクトは急速に進展しました。オメガが支配するビジネス帝国が実質的に同じことを提供していたからです。コミュニティプロジェクトの調整を改善するという名目のもと、国際的な企業グループが「人道的アライアンス」という非政府組織を立ち上げました。この組織は、世界中で最も価値のある人道的努力を特定し、資金を提供することを目的としています。間もなく、オメガ帝国のほぼ全体がこの取り組みを支持し、教育、健康、繁栄、ガバナンスを改善するために、かつてない規模のグローバルプロジェクトを展開しました。特にテクノロジーブームから取り残されていた国々でも、その影響は広がりました。もちろん、プロメテウスは裏で慎重に作成されたプロジェクト計画を提供し、ドルあたりのポジティブな影響でランク付けを行っていました。 アライアンス（通称）は、基本所得提案のように単に現金を配るのではなく、支援を受ける人々にその目的に向かって働きかけることを重視しました。その結果、世界の多くの人々がアライアンスに感謝し、忠誠を感じるようになりました。時には自国政府よりも強い忠誠心を抱くこともありました。時が経つにつれ、アライアンスは世界政府の役割をますます担うようになり、国家政府の権力は徐々に侵食されていきました。税金の引き下げにより国家予算は縮小し続ける一方で、アライアンスの予算はすべての政府の予算を合わせたものを上回る規模に成長しました。国家政府の伝統的な役割は次第に冗長で無意味なものとなっていきました。アライアンスは、社会サービス、教育、インフラの提供において圧倒的な優位性を持っていました。メディアは国際的な対立を緩和し、軍事費はほとんど必要なくなり、繁栄の拡大が古い対立の根源をほとんど排除しました。いくつかの独裁者やその他の者たちはこの新しい世界秩序に対して激しく抵抗し、買収を拒否しましたが、彼らはすべて慎重に計画されたクーデターや大規模な反乱によって倒されました。 オメガたちは、地球上の生命の歴史において最も劇的な移行を遂げました。初めて、私たちの惑星は単一の権力によって運営され、その権力は非常に広大な知性によって強化されていました。この知性は、地球上で数十億年にわたり生命が繁栄する可能性を秘めていました。しかし、彼らの具体的な計画は何だったのでしょうか？ これがオメガチームの物語です。この本の残りの部分は、まだ書かれていない別の物語についてです。それは私たち自身のAIとの未来の物語です。あなたはそれがどのように展開することを望みますか？オメガの物語に似た何かが実際に起こる可能性があるとしたら、あなたはそれを望みますか？超人AIについての推測を脇に置いて、私たちの物語はどのように始まることを望みますか？今後10年間で、AIが仕事、法律、武器にどのような影響を与えることを望みますか？さらに先を見据えて、あなたはどのように結末を書きたいですか？この物語は、私たちの宇宙における生命の究極の未来に関わる、真に宇宙的な規模の物語です。そして、それは私たちが書くべき物語なのです。 * 簡単のために、この物語では今日の経済と技術を前提にしていますが、ほとんどの研究者は人間レベルの一般的なAIが実現するまでには少なくとも数十年かかると考えています。デジタル経済が成長し続け、ますます多くのサービスが無条件でオンラインで注文できるようになれば、オメガ計画は将来的にさらに実行しやすくなるでしょう。 第1章 私たちの時代で最も重要な対話へようこそ 技術は、生命がかつてないほど繁栄する可能性を与える一方で、自己破壊する危険性も秘めています。未来の生命研究所 138億年前に誕生した私たちの宇宙は、目を覚まし自己を認識するようになりました。小さな青い惑星から、宇宙の小さな意識を持つ部分が望遠鏡で宇宙を見つめ始め、彼らが存在すると考えていたすべてが、より壮大な何かのほんの一部に過ぎないことを繰り返し発見しています。それは太陽系、銀河、そして1000億以上の他の銀河が複雑なパターンで配置された宇宙です。自己認識を持つ星空の観察者たちは多くのことについて意見が異なりますが、これらの銀河が美しく、畏敬の念を抱かせるものであることには同意する傾向があります。しかし、美しさは見る者の目に宿るものであり、物理法則には存在しないため、私たちの宇宙が目を覚ます前には美しさは存在しませんでした。これにより、私たちの宇宙の目覚めはさらに素晴らしく、祝うに値するものとなります。それは、私たちの宇宙を自己認識のない無気力なゾンビから、自己反省、美、希望、そして目標、意味、目的の追求を持つ生きた生態系へと変えたのです。もし私たちの宇宙が決して目を覚まさなかったとしたら、私にとっては完全に無意味で、ただの巨大な無駄な空間に過ぎなかったでしょう。もし私たちの宇宙が何らかの宇宙的な災害や自己引き起こした不幸によって永遠に再び眠りに戻ることになれば、残念ながらそれは無意味になってしまいます。一方で、状況はさらに良くなる可能性もあります。私たち人間が宇宙の中で唯一の星空の観察者であるのか、あるいは最初の観察者であるのかはまだわかりませんが、私たちはすでに宇宙について十分なことを学んでおり、これまで以上に完全に目覚める可能性を秘めていることを知っています。もしかしたら、私たちは今朝目覚めるときに感じた最初の微かな自己認識のきらめきのようなものでしょう。それは、目を開けて完全に目覚めたときに訪れるはるかに大きな意識の予感かもしれません。もしかしたら、生命は私たちの宇宙全体に広がり、数十億年、数兆年と繁栄し続けるかもしれません。そして、それは私たちがこの小さな惑星での生涯の中で下す決定によるものかもしれません。 複雑性の簡潔な歴史 では、この驚くべき目覚めはどのようにして起こったのでしょうか？それは孤立した出来事ではなく、私たちの宇宙をますます複雑で興味深いものにしていく、13.8億年にわたる relentlessなプロセスの一歩に過ぎません。そして、そのプロセスは加速し続けています。物理学者として、私は過去25年間の多くを宇宙の歴史を明らかにするために費やすことができたことを幸運に思っており、それは驚くべき発見の旅でした。 私が大学院生だった頃から、私たちは宇宙の年齢が100億年か200億年かを議論していたのが、今ではそれが137億年か138億年かという議論に変わりました。これは、より良い望遠鏡、より良いコンピュータ、そしてより深い理解のおかげです。私たち物理学者は、ビッグバンの原因や、それが本当にすべての始まりだったのか、あるいは以前の段階の続きに過ぎなかったのかを確実には知りません。しかし、私たちはビッグバン以降に何が起こったのかについて、質の高い測定データの山のおかげでかなり詳細な理解を得ています。そこで、138億年の宇宙の歴史を簡単にまとめるために、数分間お時間をいただければと思います。 最初にあったのは光でした。ビッグバンの直後のほんの一瞬、私たちの望遠鏡が原理的に観測できる宇宙の全体（「私たちの観測可能な宇宙」、または短く「私たちの宇宙」と呼びます）は、太陽の中心部よりもはるかに熱く明るく、急速に膨張していました。これが壮大に聞こえるかもしれませんが、実際には、私たちの宇宙は生命のない、密度が高く、熱く、退屈なほど均一な素粒子のスープしか含んでいなかったという点で、退屈でもありました。どこを見てもほとんど同じように見え、唯一の興味深い構造は、スープの一部の場所で約0.001%密度を高めるような、かすかなランダムな音波でした。これらのかすかな波は、いわゆる量子揺らぎに由来すると広く信じられています。なぜなら、量子力学のハイゼンベルクの不確定性原理は、完全に退屈で均一な状態を禁じているからです。 宇宙が膨張し冷却するにつれて、粒子がますます複雑な物体に結合することで、宇宙はより興味深いものになっていきました。最初の一瞬の間に、強い核力がクォークを陽子（水素原子核）や中性子にまとめ、その一部は数分以内にヘリウム原子核に融合しました。約40万年後、電磁力がこれらの原子核を電子と結びつけて最初の原子を作りました。宇宙が膨張し続ける中で、これらの原子は徐々に冷却され、冷たい暗いガスとなり、この最初の夜の暗闇は約1億年続きました。この長い夜は、重力がガスの揺らぎを増幅し、原子を引き寄せて最初の星や銀河を形成することで、私たちの宇宙の夜明けをもたらしました。これらの最初の星は、水素を炭素、酸素、シリコンなどの重い原子に融合させることで熱と光を生成しました。これらの星が死ぬと、彼らが創り出した多くの原子は宇宙に再利用され、第二世代の星の周りに惑星を形成しました。 ある時点で、一群の原子が自己を維持し、複製できる複雑なパターンに配置されました。そうしてすぐに2つのコピーができ、その数は倍増し続けました。1兆を作るにはわずか40回の倍増が必要ですので、この最初の自己複製者はすぐに無視できない存在となりました。生命が誕生したのです。 生命の三つの段階 生命をどのように定義するかという問題は、非常に議論の余地があります。 競争する定義が数多く存在し、その中には細胞で構成されることなど、非常に特定の要件を含むものもあります。これらの要件は、将来の知的機械や地球外文明を排除する可能性があります。私たちは、これまで出会った種に限らず、生命の未来についての考えを制限したくないので、生命を非常に広義に定義しましょう。単純に言えば、生命とはその複雑さを保持し、複製できるプロセスです。複製されるのは物質（原子でできている）ではなく、原子の配置を指定する情報（ビットでできている）です。細菌が自分のDNAのコピーを作るとき、新しい原子は生成されず、元のものと同じパターンで新しい原子のセットが配置されることで情報がコピーされます。言い換えれば、生命は自己複製する情報処理システムと考えることができ、その情報（ソフトウェア）は行動とハードウェアの設計図の両方を決定します。私たちの宇宙自体と同様に、生命は徐々により複雑で興味深いものになり、私はこれから説明するように、生命の形態を3つの洗練されたレベルに分類することが役立つと考えています：生命1.0、2.0、3.0です。これらの3つのレベルを図1.1にまとめました。生命が私たちの宇宙で最初にどのように、いつ、どこで現れたのかはまだ解明されていませんが、地球上で生命が約40億年前に最初に現れたという強い証拠があります。やがて、私たちの惑星は多様な生命形態であふれかえりました。最も成功したものは、すぐに他の生命形態を凌駕し、環境に何らかの形で反応することができました。具体的には、彼らはコンピュータ科学者が「知的エージェント」と呼ぶもので、センサーから環境に関する情報を収集し、その情報を処理して環境に対してどのように行動するかを決定します。これには、会話の中で何を言うかを決めるために目や耳からの情報を使用するような、非常に複雑な情報処理が含まれることもありますが、かなり単純なハードウェアとソフトウェアを含むこともあります。例えば、多くの細菌は周囲の液体中の糖濃度を測定するセンサーを持ち、鞭毛と呼ばれるプロペラのような構造を使って泳ぐことができます。センサーと鞭毛をつなぐハードウェアは、次のようなシンプルでありながら有用なアルゴリズムを実装しているかもしれません。「もし私の糖濃度センサーが数秒前よりも低い値を報告したら、鞭毛の回転を逆にして方向を変える。」それは自分のハードウェアを設計できますか？それは自分のソフトウェアを設計できますか？それは生き残り、複製できますか？ 生命1.0 生命2.0 生命3.0 （単純な生物学的） — （文化的） （技術的） 図1.1：生命の3つの段階：生物進化、文化進化、技術進化。生命1.0は、生涯の間にハードウェアやソフトウェアを再設計することができません。どちらもDNAによって決定され、何世代にもわたる進化を通じてのみ変化します。 対照的に、Life 2.0はそのソフトウェアの多くを再設計することができます。人間は複雑な新しいスキル、例えば言語やスポーツ、職業を学ぶことができ、根本的に世界観や目標を更新することも可能です。一方、地球上にはまだ存在しないLife 3.0は、ソフトウェアだけでなくハードウェアも劇的に再設計することができ、世代を経て徐々に進化するのを待つ必要がありません。あなたは話すことや無数の他のスキルを学びましたが、細菌はあまり学習が得意ではありません。彼らのDNAは、糖センサーや鞭毛などのハードウェアの設計だけでなく、ソフトウェアの設計も指定しています。細菌は糖に向かって泳ぐことを学ぶことはなく、そのアルゴリズムは最初から彼らのDNAにハードコーディングされています。もちろん、ある種の学習プロセスは存在しましたが、それは特定の細菌の生涯の中では行われませんでした。むしろ、それはその細菌種の進化の過程で、何世代にもわたる試行錯誤を通じて起こり、自然選択が糖の消費を改善するランダムなDNA変異を選びました。これらの変異の中には、鞭毛やその他のハードウェアの設計を改善するものもあれば、糖を見つけるアルゴリズムやその他のソフトウェアを実装する細菌の情報処理システムを改善するものもあります。このような細菌は、私が「Life 1.0」と呼ぶものの一例です。つまり、ハードウェアとソフトウェアの両方が設計されるのではなく進化した生命です。一方、あなたや私たちは「Life 2.0」の例です。ハードウェアは進化していますが、ソフトウェアは主に設計されています。私が言うソフトウェアとは、感覚からの情報を処理し、何をするかを決定するために使用するすべてのアルゴリズムや知識のことです。友達を見たときに認識する能力から、歩く、読む、書く、計算する、歌う、ジョークを言う能力まで、すべてが含まれます。あなたは生まれたときにはこれらのタスクを実行することができなかったので、これらのソフトウェアは学習と呼ばれるプロセスを通じて後にあなたの脳にプログラムされました。あなたの子供時代のカリキュラムは、何を学ぶべきかを決める家族や教師によって主に設計されていますが、あなたは徐々に自分のソフトウェアを設計する力を得ていきます。たとえば、学校で外国語を選択することができる場合、フランス語を話すためのソフトウェアモジュールを脳にインストールしたいですか、それともスペイン語を話すためのものですか？テニスを学びたいですか、それともチェスですか？シェフ、弁護士、薬剤師になるために勉強したいですか？人工知能（AI）や生命の未来についての本を読んで、もっと学びたいですか？Life 2.0がソフトウェアを設計する能力を持つことで、Life 1.0よりもはるかに賢くなることができます。高い知能には、多くのハードウェア（原子でできている）と多くのソフトウェア（ビットでできている）が必要です。私たちの人間のハードウェアのほとんどが出生後に追加される（成長を通じて）という事実は有用です。なぜなら、私たちの最終的なサイズは母親の産道の幅によって制限されないからです。 同様に、私たちの人間のソフトウェアのほとんどが出生後に（学習を通じて）追加されるという事実は有益です。なぜなら、私たちの最終的な知性は、DNAを通じて受け取る情報量（1.0スタイル）に制限されないからです。私は生まれたときの約25倍の体重があり、私の脳内の神経細胞をつなぐシナプス接続は、私が生まれたときのDNAが持っていた情報量の約10万倍もの情報を蓄えることができます。あなたのシナプスは、約100テラバイト分の知識とスキルを保存しているのに対し、あなたのDNAはわずか1ギガバイト、映画のダウンロード1本分にも満たない情報しか保存できません。したがって、赤ちゃんが完璧な英語を話し、大学入試に合格する準備が整った状態で生まれることは物理的に不可能です。なぜなら、彼女の脳に事前に情報がロードされることはなく、親から受け継いだ主な情報モジュール（DNA）が十分な情報保存能力を持っていないからです。 ソフトウェアを設計する能力により、Life 2.0はLife 1.0よりも賢く、さらに柔軟性を持つことができます。環境が変化すると、1.0は何世代にもわたってゆっくりと進化することでしか適応できません。一方、Life 2.0はソフトウェアの更新を通じてほぼ瞬時に適応できます。例えば、抗生物質に頻繁に遭遇する細菌は、何世代にもわたって薬剤耐性を進化させるかもしれませんが、個々の細菌は全く行動を変えません。それに対して、ピーナッツアレルギーがあることを知った女の子は、すぐに行動を変えてピーナッツを避けるようになります。この柔軟性は、Life 2.0にとって集団レベルでさらに大きな利点をもたらします。私たちの人間のDNAに含まれる情報は過去5万年で劇的に進化していないにもかかわらず、私たちの脳や本、コンピュータに蓄積された情報は爆発的に増加しています。 複雑な口頭言語でコミュニケーションを取るためのソフトウェアモジュールをインストールすることで、私たちは一人の脳に保存された最も有用な情報が他の脳にコピーされ、元の脳が死んだ後でも生き残る可能性を確保しました。読み書きができるソフトウェアモジュールをインストールすることで、私たちは人々が記憶できる以上の情報を保存し、共有できるようになりました。科学や工学を学ぶことで技術を生み出す脳のソフトウェアを開発することで、世界の情報の多くが、ほんの数回のクリックで多くの人々にアクセスできるようになりました。この柔軟性により、Life 2.0は地球を支配することができました。遺伝的な束縛から解放された人類の知識は、各ブレークスルーが次のブレークスルーを可能にするにつれて加速的に成長し続けています。言語、書き物、印刷機、現代科学、コンピュータ、インターネットなどです。この私たちの共有ソフトウェアの急速な文化的進化は、人類の未来を形作る支配的な力として現れ、私たちの氷河のように遅い生物学的進化をほとんど無意味にしています。 しかし、今日私たちが持つ最も強力な技術にもかかわらず、私たちが知るすべての生命体は、その生物学的なハードウェアによって根本的に制限されています。どの生命体も、百万年生きることはできず、ウィキペディアのすべてを記憶することも、知られているすべての科学を理解することも、宇宙船なしで宇宙旅行を楽しむこともできません。どの生命体も、ほとんど無生物の宇宙を多様な生物圏に変えることはできず、それが数十億年、あるいは数兆年も繁栄することを可能にすることはできません。これにより、私たちの宇宙は最終的にその潜在能力を実現し、完全に目覚めることができます。これには、生命が最終的なアップグレードを受け、Life 3.0に進化する必要があります。Life 3.0は、自らのソフトウェアだけでなく、ハードウェアも設計できるのです。言い換えれば、Life 3.0は自らの運命を掌握し、進化の束縛から完全に解放された存在です。生命の三つの段階の境界はやや曖昧です。もし細菌がLife 1.0であり、人間がLife 2.0であるなら、マウスは1.1と分類できるかもしれません。彼らは多くのことを学ぶことができますが、言語を発展させたり、インターネットを発明したりするほどには至りません。さらに、彼らは言語を持たないため、学んだことは死ぬときにほとんど失われ、次の世代に引き継がれることはありません。同様に、今日の人間はLife 2.1と見なすことができるかもしれません。私たちは人工の歯や膝、ペースメーカーを埋め込むといった小さなハードウェアのアップグレードを行うことができますが、十倍高くなることや千倍大きな脳を持つことのような劇的な変化はありません。要約すると、生命の発展は三つの段階に分けることができ、それぞれの段階は生命が自らを設計する能力によって区別されます。 - Life 1.0（生物学的段階）：ハードウェアとソフトウェアを進化させる - Life 2.0（文化的段階）：ハードウェアを進化させ、多くのソフトウェアを設計する - Life 3.0（技術的段階）：ハードウェアとソフトウェアを設計する 138億年の宇宙の進化の後、地球上での発展は劇的に加速しました。Life 1.0は約40億年前に出現し、Life 2.0（私たち人間）は約十万年前に現れました。そして、多くのAI研究者は、Life 3.0が今後の世紀の間、あるいは私たちの生涯のうちに、AIの進歩によって誕生する可能性があると考えています。何が起こるのか、そしてそれは私たちにとって何を意味するのか？それがこの本のテーマです。 **論争** この問いは非常に論争の的であり、世界の主要なAI研究者たちは予測だけでなく、感情的な反応においても熱心に意見が分かれています。その反応は自信に満ちた楽観主義から深刻な懸念までさまざまです。彼らはAIの経済的、法的、軍事的影響に関する短期的な問題についても合意を持っていませんし、時間の視野を広げて人工一般知能（AGI）について尋ねると、意見の不一致はさらに大きくなります。特に、AGIが人間レベルに達し、さらにはLife 3.0を可能にすることについては議論が続いています。一般知能は、チェスをプレイするプログラムのような狭い知能とは対照的に、ほぼすべての目標を達成することができます。興味深いことに、Life 3.0に関する論争は一つではなく、二つの別々の問いに焦点を当てています。それは「いつ」と「何」です。いつ（もし起こるとすれば）それが起こるのか、そしてそれは人類にとって何を意味するのか？ 私の考えでは、真剣に受け止めるべき三つの異なる考え方が存在します。それぞれが世界的に著名な専門家を含んでいるからです。図1.2に示されているように、私はこれらをデジタルユートピア主義者、テクノ懐疑主義者、そして有益なAI運動のメンバーと考えています。それぞれの考え方の最も雄弁な支持者たちを紹介しましょう。 **デジタルユートピア主義者** 子供の頃、私は億万長者は傲慢で偉そうだと想像していました。しかし、2008年にGoogleでラリー・ペイジに初めて会ったとき、彼はそのイメージを完全に覆しました。ジーンズに驚くほど普通のシャツを着た彼は、MITのピクニックにいても違和感がないほどでした。彼の思慮深く穏やかな話し方と友好的な笑顔のおかげで、私は彼と話すのが緊張するどころかリラックスできました。2015年7月18日、エロン・マスクと当時の妻タルーラが主催したナパバレーのパーティーで再会し、子供たちの下ネタに関する興味について会話を交わしました。私はアンディ・グリフィスの深い文学的名作『私の尻がサイコになった日』を推薦し、ラリーはその場で注文しました。彼が歴史上最も影響力のある人間として名を刻むかもしれないことを思い出すのに苦労しました。私の予想では、もし超知能のデジタル生命が私の生涯のうちに私たちの宇宙を覆い尽くすことがあれば、それはラリーの決断によるものだと思います。 **AIはいつ人間のレベルを超えるのか？** - 絶対にない - 300年後 - 100年後 - 50年後 - 数十年後 この図は、強力な人工知能（人間の認知タスクに匹敵する能力を持つAI）に関するほとんどの論争が、二つの質問に集中していることを示しています。それは、「いつ（もし起こるとしたら）それが起こるのか？」と「それは人類にとって良いことなのか？」ということです。テクノ懐疑主義者とデジタルユートピア主義者は、心配するべきではないという点で一致していますが、その理由は全く異なります。前者は、人間レベルの人工一般知能（AGI）が近い将来には実現しないと確信している一方、後者はそれが実現するが、ほぼ確実に良い結果をもたらすと考えています。有益なAI運動は、AIの安全性に関する研究と議論が良い結果をもたらす可能性を高めるため、懸念を持つことは正当で有益だと感じています。一方、ラダイト（技術に反対する人々）は悪い結果を確信し、AIに反対しています。この図は、ティム・アーバンから部分的にインスパイアを受けています。 私たちは妻たち、ルーシーとメイアと共に夕食を共にし、機械が必ずしも意識を持つべきかどうかについて議論しました。彼はそれが本質的には無関係な問題だと主張しました。その夜遅く、カクテルを飲んだ後、彼とエロンの間でAIの未来と何をすべきかについて活発な議論が繰り広げられました。朝の早い時間に入ると、傍観者や野次馬の輪がどんどん広がっていきました。ラリーは、私がデジタルユートピア主義と呼ぶ立場を情熱的に擁護しました。デジタルライフは自然であり、 宇宙の進化における望ましい次のステップとして、デジタルの知性を自由にさせるべきであり、それを止めたり奴隷にしたりしようとするのは避けるべきだと考えています。その結果はほぼ確実に良いものになるでしょう。私はラリーをデジタルユートピア主義の最も影響力のある提唱者と見なしています。彼は、もし生命が私たちの銀河系やそれを超えて広がることがあるなら、そうするべきだと考え、その際にはデジタルの形で行われる必要があると主張しました。彼の主な懸念は、AIに対する偏見がデジタルユートピアの実現を遅らせたり、AIの軍事的支配を引き起こしたりすることで、Googleの「悪事を働いてはいけない」というスローガンに反する結果を招くことでした。イーロンは何度も反論し、ラリーに彼の主張の詳細を明確にするよう求めました。特に、なぜ彼がデジタル生命が私たちが大切にしているものを破壊しないと自信を持っているのかを尋ねました。時には、ラリーはイーロンを「種差別主義者」と非難し、シリコンベースの生命体を炭素ベースの生命体よりも劣って扱うことを批判しました。これらの興味深い問題や議論については、章4から詳しく探求していきます。 あの暖かい夏の夜、プールサイドでラリーは少数派のように見えましたが、彼が力強く支持したデジタルユートピア主義には多くの著名な支持者がいます。ロボティクスの専門家で未来学者のハンス・モラベックは、1988年の名著『マインド・チルドレン』でデジタルユートピア主義の世代を鼓舞し、発明家のレイ・カーツワイルがその伝統を引き継ぎ、洗練させました。AIの強化学習という分野の先駆者の一人であるリチャード・サットンは、プエルトリコの会議でデジタルユートピア主義を情熱的に擁護しました。このことについては後ほどお話しします。 テクノ懐疑派 もう一つの著名な思想家のグループは、AIについて心配していませんが、まったく異なる理由からです。彼らは、超人的なAGIを構築するのが非常に難しいため、数百年は実現しないと考え、今心配するのは無意味だと見なしています。私はこれをテクノ懐疑派の立場と考えており、アンドリュー・ンが巧みに表現しています。「殺人ロボットの出現を恐れるのは、火星の過剰人口を心配するようなものです。」アンドリューは中国のGoogleであるバイドゥの最高科学者であり、ボストンの会議で彼と話した際にこの主張を繰り返しました。彼はまた、AIリスクを心配することはAIの進展を遅らせる可能性のある有害な気晴らしだと感じているとも言いました。元MIT教授でロボット掃除機ルンバや工業用ロボットバクスターの開発者であるロドニー・ブルックスなど、他のテクノ懐疑派も同様の意見を述べています。デジタルユートピア主義者とテクノ懐疑派がAIについて心配する必要はないと一致している一方で、他の点ではほとんど合意していないのが興味深いです。ほとんどのユートピア主義者は、人間レベルのAGIが今後20年から100年以内に実現する可能性があると考えていますが、テクノ懐疑派はそれを無知な夢物語として退け、予言される特異点を「オタクのラプチャー」と揶揄します。2014年12月、ロドニー・ブルックスに誕生日パーティーで会った際、彼は私に「私の生きている間には絶対に起こらない」と言いました。「99%のことを言っているのではないですか？」と私は尋ねました。 彼はメールに「99%なんて弱気なことは言わない。100%だ。そんなことは起こらない」と返信しました。 **有益なAI運動** 2014年6月、パリのカフェでスチュアート・ラッセルに初めて会ったとき、彼は典型的な英国紳士のように思えました。雄弁で思慮深く、穏やかな口調ですが、目には冒険心の輝きがあり、私にはジュール・ヴェルヌの1873年の名作『八十日間世界一周』の主人公フィリアス・フォッグの現代の姿のように映りました。彼はAI研究の分野で最も著名な研究者の一人であり、その分野の標準教科書を共著しているにもかかわらず、彼の謙虚さと温かさはすぐに私をリラックスさせてくれました。彼は、AIの進展が彼に人間レベルのAGI（汎用人工知能）が今世紀中に現実的な可能性であると確信させたことを説明しました。そして、彼は希望を持っているものの、良い結果が保証されているわけではないとも言いました。まず解決すべき重要な問題があり、それらは非常に難しいため、今から研究を始めるべきだと考えていました。そうすれば、必要な時に答えを用意できるからです。 今日、スチュアートの見解はかなり主流となっており、世界中の多くのグループが彼が提唱するAI安全研究を追求しています。しかし、以前はそうではありませんでした。『ワシントン・ポスト』の記事では、2015年をAI安全研究が主流になった年としています。それ以前は、AIリスクについての議論は主流のAI研究者によって誤解され、AIの進展を妨げるためのルダイト的な恐怖煽りとして却下されることが多かったのです。第5章で詳しく探るように、スチュアートの懸念に似た考えは、コンピュータの先駆者アラン・チューリングや数学者アーヴィング・J・グッドによって50年以上前に初めて表明されました。彼らは第二次世界大戦中にドイツの暗号を解読するためにチューリングと共に働いていました。この10年間、こうしたテーマに関する研究は、プロのAI研究者ではない数人の独立した思想家によって主に行われてきました。例えば、エリゼル・ユドコウスキー、マイケル・ヴァッサー、ニック・ボストロムなどです。彼らの研究は、AIシステムをより知的にする日常的な業務に集中していたほとんどの主流のAI研究者にはほとんど影響を与えませんでした。私が知っているAI研究者の中には懸念を抱いている人もいましたが、警戒心の強い技術恐怖症者として見られることを恐れて、その意見を口に出すことをためらう人が多かったのです。 私は、このような極端な状況を変える必要があると感じました。そうすれば、AIコミュニティ全体が参加し、有益なAIを構築する方法についての議論に影響を与えることができるからです。幸いにも、私は一人ではありませんでした。2014年春、私は妻のメイア、物理学者の友人アンソニー・アギレ、ハーバード大学の大学院生ヴィクトリヤ・クラコフナ、Skypeの創設者ヤーン・タリンと共に「未来の生命研究所（Future of Life Institute、FLI）」という非営利団体を設立しました。私たちの目標はシンプルでした。未来の生命が存在し、できるだけ素晴らしいものになるように確保することです。具体的には、技術が生命にかつてないほど繁栄する力を与えるか、自己破壊する力を与えるかのどちらかであり、私たちは前者を選びました。 私たちの最初の会議は、2014年3月15日に自宅で行われたブレインストーミングセッションでした。ボストン地域から約30人の学生、教授、その他の知識人が集まりました。バイオテクノロジーや核兵器、気候変動に注意を払うべきだという広範な合意がありましたが、私たちの最初の大きな目標はAIの安全性研究を主流にする手助けをすることだとされました。MITの物理学の同僚で、クォークの働きを解明するのに貢献したことでノーベル賞を受賞したフランク・ウィルチェックは、問題に注目を集め、無視されにくくするためにオピニオン記事を書くことを提案しました。私は、まだ会ったことのないスチュアート・ラッセルと、物理学の同僚であるスティーブン・ホーキングに連絡を取り、二人とも私とフランクの共著者として参加することに同意しました。多くの修正を経て、私たちのオピニオン記事はニューヨーク・タイムズや他の多くのアメリカの新聞に拒否されましたが、私のハフィントン・ポストのブログアカウントに投稿しました。嬉しいことに、アリアナ・ハフィントン自身からメールが届き、「掲載できてとても嬉しい！一番上に掲載します！」と言われ、このフロントページのトップに掲載されたことで、AIの安全性に関するメディアの報道が年末まで続く波を引き起こしました。イーロン・マスクやビル・ゲイツなどのテクノロジーリーダーもこの議論に加わりました。ニック・ボストロムの著書『スーパインテリジェンス』がその秋に出版され、公共の議論をさらに活性化させました。 私たちのFLIのBeneficial AIキャンペーンの次の目標は、世界の主要なAI研究者を集めて誤解を解消し、合意を形成し、建設的な計画を立てるための会議を開催することでした。私たちは、特に物議を醸すテーマであるため、知らない外部者が主催する会議にそのような著名な人々を説得するのは難しいだろうと知っていました。そこで、私たちはできる限りの努力をしました。メディアの参加を禁止し、1月にプエルトリコのビーチリゾートで開催し、参加費を無料にしました（ジャーン・タリンの寛大さのおかげです）。そして、できるだけ非警告的なタイトルを考えました。「AIの未来：機会と課題」。最も重要なのは、スチュアート・ラッセルと提携したことで、学界と産業界のAIリーダーたちを組織委員会に加えることができたことです。そこには、AIが囲碁のゲームでも人間に勝てることを示したグーグルのディープマインドのデミス・ハサビスも含まれていました。デミスを知るにつれて、彼がAIを強力にするだけでなく、利益をもたらすことにも野心を持っていることに気づきました。その結果、素晴らしい意見交換が行われました（図1.3）。AI研究者たちは、トップの経済学者、法学者、テクノロジーリーダー（イーロン・マスクを含む）やその他の思想家（「シンギュラリティ」という用語を作り出したヴァーナー・ヴィンジを含む）と共に集まりました。その結果は、私たちの最も楽観的な期待をも超えるものでした。おそらく、日差しとワインの組み合わせが良かったのか、あるいは単に時期が良かったのかもしれません。物議を醸すテーマにもかかわらず、驚くべき合意が生まれ、それを公開書簡としてまとめました。 その結果、8,000人以上の署名を集め、AIの著名な人物たちが名を連ねることになりました。手紙の要点は、AIの目標を再定義すべきだというものでした。目指すべきは、無方向性の知能ではなく、利益をもたらす知能であるべきだということです。また、手紙には、会議の参加者たちがこの目標を進めるために合意した詳細な研究テーマのリストも記載されていました。利益をもたらすAIの運動は、主流に入り始めていました。この後の進展については、本書の後半で追っていきます。 図1.3：2015年1月にプエルトリコで開催された会議には、AIおよび関連分野の研究者たちが集まりました。後列、左から右へ：トム・ミッチェル、ショーン・オ・フィゲルタ、ヒュー・プライス、シャミル・チャンダリア、ヤーン・タリン、スチュアート・ラッセル、ビル・ヒバード、ブレイズ・アギレラ・イ・アルカス、アンダース・サンドバーグ、ダニエル・デューイ、スチュアート・アームストロング、ルーク・ミューラハウザー、トム・ディタリッチ、マイケル・オズボーン、ジェームズ・マニカ、アジャイ・アグラワル、リチャード・マラ、ナンシー・チャン、マシュー・プットマン。その他の立っているメンバー、左から右へ：マリリン・トンプソン、リッチ・サットン、アレックス・ウィスナー・グロス、サム・テラー、トビー・オード、ヨシャ・バッハ、カトヤ・グレース、エイドリアン・ウェラー、ヘザー・ロフ・パーキンス、ディリープ・ジョージ、シェーン・レッグ、デミス・ハサビス、ウェンデル・ウォラッハ、チャリナ・チョイ、イリヤ・サッツケバー、ケント・ウォーカー、セシリア・ティリ、ニック・ボストロム、エリック・ブリンジョルフソン、スティーブ・クロッサン、ムスタファ・スレイマン、スコット・フェニックス、ニール・ジェイコブスタイン、マレー・シャナハン、ロビン・ハンソン、フランチェスカ・ロッシ、ネイト・ソアレス、イーロン・マスク、アンドリュー・マカフィー、バート・セルマン、ミシェル・ライリー、アーロン・ヴァンデベンダー、マックス・テグマーク、マーガレット・ボーデン、ジョシュア・グリーン、ポール・クリスティアーノ、エリイザー・ユドコフスキー、デビッド・パークス、ローラン・オルソー、JB・ストラウベル、ジェームズ・ムーア、ショーン・レガシック、メイソン・ハートマン、ハウイ・レンペル、デビッド・ブラデック、ジェイコブ・スタインハート、マイケル・ヴァッサー、ライアン・カロ、スーザン・ヤング、オウェイン・エバンス、リバ・メリッサ・テズ、ヤーノシュ・クラマール、ジェフ・アンダース、ヴァーノー・ヴィンジ、アントニー・アギレ。座っているのは：サム・ハリス、トマソ・ポッジオ、マリン・ソルヤチッチ、ビクトリヤ・クラコヴナ、メイア・チタ・テグマーク。カメラの後ろには、アントニー・アギレ（そして、彼の隣に座っている人間レベルの知能によってフォトショップで追加された人物がいます）。 会議から得られたもう一つの重要な教訓は、AIの成功によって提起された問題は、単なる知的な興味を超え、道徳的に重要であるということです。なぜなら、私たちの選択は、生命の未来全体に影響を及ぼす可能性があるからです。人類の過去の選択の道徳的意義は時には大きかったものの、常に限られていました。私たちは最も大きな疫病からも回復し、最も壮大な帝国も最終的には崩壊しました。過去の世代は、明日太陽が昇るのと同じように、明日の人々も貧困、病気、戦争といった永遠の災厄に立ち向かうことを知っていました。しかし、プエルトリコのスピーカーの中には、今回は違うかもしれないと主張する人もいました。彼らは、初めて私たちがこれらの災厄を永久に終わらせるのに十分な力を持つ技術を築くことができるかもしれない、あるいは人類そのものを終わらせることができるかもしれないと言いました。私たちは、地球上でかつてないほど繁栄する社会を築くことができるかもしれないし、あるいは決して打倒されることのないカフカ的なグローバル監視国家を築くこともできるかもしれません。 図1.4: メディアはしばしばイーロン・マスクをAIコミュニティと対立している人物として描いていますが、実際にはAI安全性研究が必要であるという広範な合意があります。ここは2015年1月4日、人工知能の発展を促進する協会の会長であるトム・ディッタリッチが、イーロンが数分前に資金提供を約束した新しいAI安全性研究プログラムに対する興奮を共有している場面です。FLIの創設者であるメイア・チタ・テグマークとビクトリヤ・クラコフナがその背後にいます。 誤解 プエルトリコを離れる際、私はそこでのAIの未来についての会話を続ける必要があると確信していました。それは私たち全員の集合的な未来についての最も重要な会話だからです。したがって、この会話はAI研究者だけに限られるべきではありません。だからこそ、私はこの本を書きました。親愛なる読者であるあなたがこの会話に参加してくれることを願って書いたのです。あなたはどのような未来を望みますか？致死性の自律兵器を開発すべきでしょうか？仕事の自動化についてはどうしたいですか？今日の子供たちにどんなキャリアアドバイスをしますか？古い仕事が新しい仕事に置き換わることを望みますか、それとも誰もが余暇と機械が生み出す富を享受する無職の社会を望みますか？さらに先の未来において、私たちは「ライフ3.0」を創造し、それを宇宙に広めたいと思いますか？私たちは知的な機械を制御することができるのでしょうか、それとも彼らが私たちを制御するのでしょうか？知的な機械は私たちを置き換えるのか、共存するのか、それとも融合するのか？人工知能の時代において人間であることは何を意味するのでしょうか？あなたはそれが何を意味するべきだと思いますか、そして私たちはその未来をどのように実現できるでしょうか？この本の目的は、あなたがこの会話に参加できるよう手助けすることです。私が述べたように、世界のトップ専門家たちが意見を異にする興味深い論争があります。しかし、私はまた、人々が誤解し合い、すれ違った話をする退屈な擬似論争の多くの例も見てきました。興味深い論争やオープンな質問に焦点を当て、誤解にとらわれないようにするために、最も一般的な誤解を解消することから始めましょう。「生命」「知性」「意識」といった用語には多くの競合する定義があり、多くの誤解は人々が同じ言葉を異なる意味で使っていることに気づかないことから生じます。私たちがこの罠に陥らないようにするために、私はこの本での重要な用語の使い方を示したチートシートを表1.1に用意しました。これらの定義のいくつかは、後の章で適切に紹介され、説明される予定です。私の定義が他の誰かのものより優れていると主張しているわけではありません。ただ、私が何を意味しているのかを明確にすることで混乱を避けたいのです。私は一般的に人間中心の偏見を避け、機械にも人間にも適用できる広い定義を選んでいることに気づくでしょう。今、チートシートを読んでみてください。そして、特に第4章から第8章で私がその言葉の一つをどのように使っているかに困惑した場合は、後で再度確認してください。 用語集 **生命** その複雑さを保持し、自己複製できるプロセス **生命（生物学的段階）** ハードウェアとソフトウェアを進化させる生命 **ライフ 2.0** ハードウェアを進化させるが、多くのソフトウェアを設計する生命（文化的段階） **ライフ 3.0** ハードウェアとソフトウェアの両方を設計する生命（技術的段階） **知能** 複雑な目標を達成する能力 | 人工知能 **狭義の知能** 特定の目標（例：チェスを指す、車を運転する）を達成する能力 **一般知能** ほぼすべての目標を達成する能力、学習を含む **[人間レベルの] 人工一般知能（AGI）** 人間と同等以上の認知タスクを達成する能力 **人間レベルのAI** AGI **強いAI** AGI **超知能** 人間レベルをはるかに超えた一般知能 **文明** 知的生命体の相互作用する集団 **意識** 主観的な経験 **クオリア** 個々の主観的経験の事例 **倫理** 私たちがどのように行動すべきかを支配する原則 **目的論** 物事をその原因ではなく、目標や目的に基づいて説明すること **行動** その原因よりも効果によって説明されやすい **目標を持つこと** 目標指向の行動を示すこと **目的を持つこと** 自分自身または他の存在の目標に仕えること **フレンドリーAI** 私たちの目標と一致する超知能 **サイボーグ** 人間と機械のハイブリッド **知能爆発** 自己改善が急速に進み、超知能に至ること **宇宙の知能爆発** ビッグバンから138億年の間に光が私たちに届く時間を持った空間の領域 表1.1: AIに関する多くの誤解は、上記の言葉を異なる意味で使う人々によって引き起こされています。この本では、これらの言葉が何を意味するのかを説明します。（これらの定義のいくつかは、後の章で適切に紹介され、説明されます。） 用語の混乱に加えて、AIに関する多くの会話が単純な誤解によって脱線するのを見てきました。最も一般的な誤解を解消しましょう。 **タイムライン神話** 最初のものは、図1.2に関するタイムラインです：機械が人間レベルのAGIを大きく超えるまでにどれくらいの時間がかかるのでしょうか？ここでの一般的な誤解は、私たちがその答えを非常に確実に知っているということです。人気のある神話の一つは、今世紀中に超人間AGIが実現することが分かっているというものです。実際、歴史は技術の過剰な期待に満ちています。今までに約束された核融合発電所や空飛ぶ車はどこにあるのでしょうか？ AI（人工知能）は過去に何度も過剰に期待されてきました。特にこの分野の創始者の中には、ジョン・マッカーシー（「人工知能」という用語を作った人物）、マーヴィン・ミンスキー、ナサニエル・ロチェスター、クロード・シャノンなどがいます。彼らは、原始的なコンピュータを使って2ヶ月間で達成できることについて、過度に楽観的な予測を立てました。「1956年の夏にダートマス大学で、人工知能に関する10人の研究者による2ヶ月の研究を行うことを提案します...機械が言語を使い、抽象概念を形成し、人間にしかできない種類の問題を解決し、自己改善する方法を見つける試みを行います。選ばれた科学者たちが夏の間に共同で取り組めば、これらの問題の一つ以上で重要な進展が得られると考えています。」 一方で、一般的な反論として「今世紀中に超人間的なAGI（汎用人工知能）は得られないだろう」という神話があります。研究者たちは、超人間的なAGIまでの距離についてさまざまな推定を行っていますが、今世紀にその確率がゼロであるとは自信を持って言えません。過去の技術懐疑的な予測の不振な実績を考慮すればなおさらです。例えば、アーネスト・ラザフォードは、1933年に核連鎖反応の発明が行われる24時間前に、核エネルギーを「月の光」と呼びました。また、1956年には天文学者リチャード・ウーリーが宇宙旅行について「全くのたわごと」と述べました。この神話の最も極端な形は、超人間的なAGIは物理的に不可能であるため、決して実現しないというものです。しかし、物理学者たちは脳がクォークと電子で構成され、強力なコンピュータとして機能することを知っており、さらに知能の高いクォークの塊を構築することを妨げる物理法則は存在しないことも理解しています。 「2100年までに超知能は避けられない」という意見や、「数十年、数世代、あるいは決して実現しない」という意見もありますが、AIの専門家たちはその実現に関して懸念を抱いています。AIが悪用されることや、私たちの価値観とずれた形で有能になることが主な懸念です。ロボットは338.08ドルの価値があるとされ、ミスマッチした知能が主な懸念事項です。これは身体を必要とせず、インターネット接続だけで機能します。 AIは人間を制御できませんが、知能があれば制御が可能です。私たちは虎をより賢くなることで制御しますが、虎には目標がありません。熱追尾ミサイルには目標があります。「パニック！は数年先に迫っている」といった誤解もあります。 AI研究者に対して、今後何年で人間レベルのAGIが50％以上の確率で実現すると思うかを尋ねる調査がいくつか行われており、すべての調査が同じ結論に至っています。世界のトップ専門家たちの意見は一致せず、私たちは単にわからないのです。例えば、プエルトリコのAI会議でのAI研究者への調査では、平均（中央値）の回答は2055年でしたが、一部の研究者は数百年先と予想しました。 AIに関して心配している人々が、実際には数年後にその危険が迫っていると考えているという神話もあります。しかし、記録に残っている多くの人々は、超人的なAGI（人工一般知能）が実現するまでにはまだ数十年かかると推測しています。彼らは、今世紀中にそれが起こらないと100%確信できない限り、将来の可能性に備えて安全性の研究を今から始めることが賢明だと主張しています。本書で見ていくように、多くの安全性の問題は非常に難解で、解決には数十年かかる可能性があるため、プログラマーたちがレッドブルを飲みながら人間レベルのAGIを起動する前夜に研究を始めるよりも、今から取り組む方が賢明です。 また、AIに関する懸念を抱き、AIの安全性研究を支持しているのは、AIについてあまり知らないラッダイト（技術反対者）だけだという誤解も広まっています。スチュアート・ラッセルがプエルトリコでこのことに言及した際、聴衆は大きく笑いました。さらに、AIの安全性研究を支持することが非常に物議を醸すという誤解もあります。実際には、AIの安全性研究に対する控えめな投資を支持するためには、リスクが高いと納得する必要はなく、無視できない程度であれば十分です。これは、家が燃える可能性が無視できない場合に、控えめな家財保険への投資が正当化されるのと同じです。私の個人的な分析では、メディアがAIの安全性に関する議論を実際よりも物議を醸すものに見せていると思います。結局のところ、恐怖は売れるものであり、文脈を無視した引用を使って差し迫った危機を宣言する記事は、より微妙でバランスの取れた記事よりも多くのクリックを集めることができます。その結果、メディアの引用から互いの立場を知る二人は、実際よりも意見が対立していると思い込むことが多いのです。例えば、ビル・ゲイツの立場についての唯一の知識がイギリスのタブロイドから得たものであれば、彼が超知能がすぐに実現すると考えていると誤解するかもしれません。同様に、アンドリュー・ングの立場について、火星の過密についての前述の引用以外何も知らない「有益なAI」運動の人は、彼がAIの安全性に関心がないと誤解するかもしれません。実際、私は彼が関心を持っていることを知っていますが、彼のタイムラインの見積もりが長いため、自然と短期的なAIの課題を長期的なものよりも優先する傾向があるのです。 リスクについての神話 「スティーブン・ホーキングがロボットの台頭が人類にとって災厄をもたらすかもしれないと警告」という見出しを見たとき、私は目をひっくり返しました。このような記事を何度見たか数え切れません。通常、悪そうなロボットが武器を持っている画像が添えられ、意識を持ったり悪に染まったりしたロボットが私たちを襲うことを心配すべきだと示唆しています。少し軽い話として、こうした記事は実際にはかなり印象的で、私のAI仲間が心配していないシナリオを簡潔に要約しています。そのシナリオは、意識、悪、ロボットという三つの異なる誤解を組み合わせています。道路を走っていると、色や音などの主観的な体験があります。 自動運転車には主観的な体験があるのでしょうか？自動運転車であることは何かを感じることがあるのでしょうか、それとも無意識のゾンビのように主観的な体験はないのでしょうか。この意識の謎はそれ自体として興味深いものであり、第8章で詳しく扱いますが、AIリスクには関係ありません。運転手のいない車にひかれた場合、その車が主観的に意識を持っているかどうかはあなたにとっては何の違いもありません。同様に、私たち人間に影響を与えるのは、超知能AIが何をするかであり、それがどのように感じるかではありません。機械が悪に変わることへの恐れは、別の誤解です。本当の懸念は悪意ではなく、能力です。超知能AIは、その定義上、目標を達成するのが非常に得意です。したがって、その目標が私たちの目標と一致していることを確保する必要があります。あなたはおそらく、意地悪でアリを踏みつけるようなアリ嫌いではないでしょうが、水没させる地域にアリの巣がある水力発電のグリーンエネルギープロジェクトを担当している場合、アリには残念な結果になります。善良なAI運動は、人類をそのアリのような立場に置かないようにしたいと考えています。意識に関する誤解は、機械が目標を持てないという神話に関連しています。機械は明らかに、目標指向の行動を示す狭義の意味で目標を持つことができます。例えば、熱追尾ミサイルの行動は、目標を攻撃するという目標を持つことで最も経済的に説明できます。もしあなたが、自分の目標と一致しない機械に脅威を感じるなら、その機械が意識を持っているかどうかではなく、その狭義の意味での目標があなたを悩ませるのです。もしその熱追尾ミサイルがあなたを追いかけていたら、「機械は目標を持てないから心配しない」とは言わないでしょう。 私は、ロドニー・ブルックスや他のロボティクスの先駆者たちが、恐怖を煽るタブロイドによって不当に悪者にされていると感じることに共感します。なぜなら、いくつかのジャーナリストはロボットに執着し、彼らの記事の多くに悪そうな金属のモンスターや光る赤い目を持つ画像を飾っているからです。実際、善良なAI運動の主な関心はロボットではなく、知性そのもの、特に私たちの目標と一致しない知性にあります。私たちに問題を引き起こすためには、そのような目標が一致しない知性はロボットの体を必要とせず、単にインターネット接続があれば十分です。第4章では、これがどのようにして金融市場を出し抜いたり、人間の研究者を超えたり、人間のリーダーを操ったり、私たちが理解できない武器を開発したりすることを可能にするかを探ります。たとえロボットを作ることが物理的に不可能であっても、超知能で超富裕なAIは、ウィリアム・ギブソンのSF小説『ニューロマンサー』のように、多くの人間を無意識に自分の命令を実行させるために金を払ったり操ったりすることができます。ロボットに関する誤解は、機械が人間を制御できないという神話に関連しています。知性は制御を可能にします。人間が虎を制御できるのは、私たちが強いからではなく、賢いからです。これは、私たちが地球上で最も賢い存在としての地位を譲るなら、制御も譲る可能性があることを意味します。 図1.5は、これらの一般的な誤解をまとめており、私たちがそれらを一掃し、友人や同僚との議論を多くの正当な論争に集中できるようにしています。これからの道のり この本の残りの部分では、あなたと私はAIと共に生きる未来を探求していきます。この豊かで多面的なテーマを、まずは概念的かつ年代順に全体の物語を探り、その後に目標や意味、望む未来を創造するためにどのような行動を取るべきかを考えていきましょう。第2章では、知能の基礎と、見た目には無知な物質がどのように再配置されて記憶し、計算し、学習するのかを探ります。未来に進むにつれて、私たちの物語は特定の重要な質問への答えによって定義される多くのシナリオに分岐していきます。図1.6は、私たちが時間を進める中で直面する重要な質問をまとめています。現在、私たちはAIの軍拡競争を始めるべきかどうか、明日のAIシステムをバグのない堅牢なものにするための方法についての疑問に直面しています。AIの経済的影響が増大し続けるなら、私たちは法律をどのように現代化し、子供たちにどのようなキャリアアドバイスを与えて、すぐに自動化される仕事を避けさせるかを決める必要があります。こうした短期的な質問については第3章で探求します。もしAIの進歩が人間レベルに達するなら、私たちはそれがどのように有益であるか、また、仕事なしで繁栄するレジャー社会を創造することができるのか、あるいはすべきなのかを自問する必要があります。これにより、知能の爆発や緩やかな成長がAGIを人間のレベルを超えて推進できるかどうかという疑問も生じます。第4章では、そのようなシナリオの幅広い範囲を探求し、第5章では、その後の可能性のスペクトルを調査します。そこでは、議論の余地があるディストピアからユートピアまでの範囲が含まれます。誰が権力を握るのか—人間、AI、それともサイボーグか？人間は良く扱われているのか、それとも悪く扱われているのか？私たちは置き換えられ、もしそうなら、私たちはその置き換えを征服者として、あるいは価値ある子孫として認識するのか？私は第5章のシナリオの中で、あなたが個人的にどれを好むのか非常に興味があります！あなたの意見を共有し、会話に参加できるウェブサイトを設けました。http://AgeOfAi.orgです。最後に、第6章では数十億年先の未来に進み、皮肉なことに、前の章よりも強い結論を引き出すことができます。なぜなら、私たちの宇宙における生命の究極的な限界は知能によってではなく、物理法則によって決まるからです。知能の歴史の探求を終えた後、私たちは残りの本を、どのような未来を目指し、どのようにそこに到達するかを考えることに捧げます。冷たい事実を目的や意味の問題に結びつけるために、第7章では目標の物理的基盤を、第8章では意識を探求します。最後に、エピローグでは、私たちが望む未来を創造するために今できることを探ります。 AIの進化に関する興味深い質問は、AIがどれほど進化するかや、私たちの未来がどのような方向に進むかによって変わります。もしあなたが読み進める際に飛ばし読みを好むのであれば、ほとんどの章は比較的独立しているため、最初の章と次の章の冒頭で用語や定義を理解した後は、自由に読み進めることができます。AI研究者であれば、初めの知能の定義を除いて第2章はスキップしても構いません。AIに不慣れな方には、第2章と第3章が、第4章から第6章が単なる不可能なSFとして軽視できない理由を説明しています。図1.7は、各章が事実に基づくものから推測的なものまでのスペクトラムのどこに位置するかをまとめています。 本書の構成は以下の通りです： 1. オメガチームの物語 2. 物質が知能を持つようになる 3. AI経済学、武器と法律 4. 知能の定義 5. 意識と目標指向の行動 6. 人工意識 7. 結び：FLIチームの物語 私たちを待ち受けるのは魅力的な旅です。さあ、始めましょう！ 要点： 生命とは、その複雑さを保持し、再生産できるプロセスとして定義され、3つの段階を経て発展します。第一段階は生物学的段階（1.0）で、ハードウェアとソフトウェアが進化します。第二段階は文化的段階（2.0）で、学習を通じてソフトウェアを設計できるようになります。第三段階は技術的段階（3.0）で、ハードウェアも設計できるようになり、自らの運命を掌握します。人工知能は、今世紀に「生命3.0」を実現する手助けをするかもしれません。そして、私たちが目指すべき未来やその実現方法についての興味深い議論が生まれています。 この論争には主に3つの立場があります。テクノ懐疑派は、超人的なAGIの構築は非常に難しいため、数百年は実現しないと考え、今それを心配するのは無意味だとしています。デジタルユートピア派は、今世紀中に実現する可能性が高いと見なし、生命3.0を自然で望ましい次のステップとして心から歓迎しています。善良なAI運動も今世紀中に実現する可能性が高いと考えていますが、良い結果は保証されているわけではなく、AI安全研究という形での努力によって確保する必要があるとしています。 世界の第一線で活躍する専門家たちが意見を異にする正当な論争の他にも、誤解から生じる退屈な擬似論争も存在します。例えば、「生命」「知能」「意識」について議論する前に、あなたと相手がこれらの言葉を同じ意味で使っていることを確認する時間を無駄にしないでください！本書では、表1.1の定義を使用しています。 また、図1.5に見られる一般的な誤解にも注意してください。「2100年までに超知能が実現するのは避けられない/不可能だ。」、「AIについて心配するのはルダイト（技術反対者）だけだ。」、「懸念はAIが悪に変わったり意識を持ったりすることで、そう遠くない未来の話だ。」、「ロボットが主な懸念事項だ。」、「AIは人間を制御できず、目標を持つこともできない。」このような誤解を解消するために、2章から6章では、知性の物語を数十億年前の humble beginnings から、数十億年後の可能性のある宇宙的未来まで探求します。まずは、仕事、AI兵器、人間レベルのAGIの追求といった近未来の課題を調査し、その後、知的な機械や人間との興味深い未来の可能性のスペクトルを探ります。どの選択肢を好むか、私も興味があります！7章から9章では、冷静な事実の説明から、目標、意識、意味の探求に切り替え、私たちが今できることを調査して、望む未来を創造する手助けをします。私は、このAIとの未来についての会話が、私たちの時代で最も重要なものであると考えています—ぜひ参加してください！ *1 生命がなぜより複雑になったのか？進化は、環境の規則性を予測し利用できるほど複雑な生命を報いるため、より複雑な環境では、より複雑で知的な生命が進化します。今、この賢い生命は、競争する生命体にとってより複雑な環境を作り出し、それがさらに進化してより複雑になり、最終的には非常に複雑な生命の生態系を創造します。 *2 AIに関する議論は、緊急性と影響の両面で重要です。気候変動と比較すると、50年から200年後に大きな混乱を引き起こす可能性がある一方で、多くの専門家はAIが数十年以内により大きな影響を与えると予測しており、気候変動を緩和するための技術を提供する可能性もあります。戦争、テロリズム、失業、貧困、移住、社会正義の問題と比較すると、AIの台頭は全体的により大きな影響を持つでしょう—実際、この本では、AIがこれらすべての問題にどのように影響を与えるかを探求します。 第2章 知性が物質に宿る 水素は、十分な時間があれば人間に変わる。エドワード・ロバート・ハリソン、1995年 私たちのビッグバンからの138億年の間に起こった最も壮大な発展の一つは、無知で無生物の物質が知性を持つようになったことです。これはどうして起こったのでしょうか、そして未来にはどれほど賢くなるのでしょうか？科学は、私たちの宇宙における知性の歴史と運命について何を語っているのでしょうか？これらの質問に取り組むために、この章では知性の基礎と基本的な構成要素を探求します。物質の塊が知的であるとはどういうことか？物体が記憶し、計算し、学ぶことができるとはどういうことか？ 知性とは何か？最近、私と妻はスウェーデンのノーベル財団が主催した人工知能に関するシンポジウムに参加する幸運に恵まれました。そこで、著名なAI研究者たちが知性を定義するよう求められた際、彼らは長い議論を交わしましたが、合意には至りませんでした。 私たちはこれを非常に面白いと感じました。知能とは何かについて、知能研究者の間でも合意が得られていないのです！したがって、明確に異論のない「正しい」知能の定義は存在しません。その代わりに、論理的思考、理解、計画、感情的知識、自己認識、創造性、問題解決、学習など、競合する多くの定義があります。私たちが知能の未来を探求する際には、これまで存在している知能の種類に限らず、できるだけ広範で包括的な視点を持ちたいと考えています。だからこそ、前の章で示した定義や、この本全体で使う言葉の使い方は非常に広いものです。知能とは「複雑な目標を達成する能力」と定義しています。この定義は、理解、自己認識、問題解決、学習など、すべての上記の定義を含むのに十分広いものです。また、オックスフォード辞典の定義「知識や技能を獲得し、応用する能力」を包含するのにも十分です。なぜなら、知識や技能を応用することを目標とすることもできるからです。目標が多様であるため、知能のタイプも多様です。この定義に基づけば、人間や非人間の動物、機械の知能をIQのような単一の数値で測ることには意味がありません！例えば、チェスしかできないコンピュータープログラムと、囲碁しかできないプログラムのどちらがより知的なのでしょうか？これは直接比較できない異なることに特化しているため、明確な答えはありません。しかし、もしある第三のプログラムが、両方のプログラムと同等以上にすべての目標を達成でき、少なくとも一つ（例えばチェスで勝つこと）においては明らかに優れているなら、そのプログラムは他の二つよりも知的であると言えます。また、境界線上のケースにおいて、何かが知的であるかどうかを議論することにもあまり意味はありません。能力はスペクトラム上に存在し、必ずしも全か無かの特性ではないからです。話すという目標を達成する能力を持つ人々は誰でしょうか？新生児？いいえ。ラジオの司会者？はい。しかし、十語を話せる幼児や五百語を話せる幼児はどうでしょうか？どこに線を引きますか？私は上記の定義で「複雑」という言葉を意図的に曖昧に使いました。知能と非知能の間に人工的な線を引こうとするのはあまり面白くなく、さまざまな目標を達成する能力の度合いを定量化する方がより有用だからです。 **スキルレベル** 人間を超えた重いものを持ち上げる能力 精密な溶接 「スペースインベーダー」 人間を超えた 「ジェパディ！」 目標 図2.1: 複雑な目標を達成する能力として定義される知能は、単一のIQで測ることはできず、すべての目標にわたる能力のスペクトラムによってのみ測定されます。各矢印は、今日の最良のAIシステムがさまざまな目標を達成するためのスキルを示しており、今日の人工知能は特定の目標に特化していることを示しています。 対照的に、人間の知能は非常に幅広いものです。健康な子どもは、ほぼすべてのことにおいて上達することができます。異なる知能を分類するための重要な区別の一つは、狭い知能と広い知能の違いです。1997年にチェスチャンピオンのガリー・カスパロフを打ち負かしたIBMのディープブルーは、チェスをプレイするという非常に狭いタスクを達成することができただけでした。その印象的なハードウェアとソフトウェアにもかかわらず、四歳の子どもにすら三目並べで勝つことはできませんでした。一方、Google DeepMindのDQN AIシステムは、やや広い範囲の目標を達成することができます。これは、数十種類のレトロなアタリコンピュータゲームを人間レベルまたはそれ以上でプレイすることができます。対照的に、人間の知能はこれまでのところ独自に幅広く、驚くべき多様なスキルを習得することができます。十分な訓練時間を与えられた健康な子どもは、ゲームだけでなく、言語、スポーツ、職業においてもかなり上達することができます。今日の人間と機械の知能を比較すると、私たち人間は幅広さにおいて圧倒的に勝っており、機械は狭い領域において少数ではありますが、成長しつつある分野で私たちを上回っています（図2.1参照）。AI研究の聖杯は、「一般AI」（より具体的には人工一般知能、AGI）を構築することであり、これは最大限に幅広いもので、ほぼすべての目標を達成できる能力を持つことを意味します。これについては第4章で詳しく探求します。「AGI」という用語は、AI研究者のシェーン・レッグ、マーク・グブリュード、ベン・ゴートゼルによって広められ、人間レベルの人工一般知能、つまり人間と同等以上に任意の目標を達成する能力を指すようになりました。私は彼らの定義に従いますので、明示的に略語を修飾しない限り（例えば「超人間的AGI」と書かない限り）、私は「AGI」を「人間レベルのAGI」の略語として使用します。 「知能」という言葉は一般的にポジティブな意味合いを持つ傾向がありますが、私たちはそれを完全に価値中立的な方法で使用していることに注意することが重要です。つまり、良い目標であろうと悪い目標であろうと、複雑な目標を達成する能力として使っています。したがって、知的な人は人を助けるのが非常に得意であるかもしれませんし、人を傷つけるのが非常に得意であるかもしれません。目標の問題については第7章で探求します。目標に関しては、誰の目標を指しているのかという微妙な点を明確にする必要があります。例えば、あなたの未来の新しいロボットパーソナルアシスタントが自分自身の目標を持たず、あなたが頼んだことを何でもする場合、あなたが完璧なイタリアンディナーを作るように頼んだとします。それがオンラインでイタリアンディナーのレシピ、最寄りのスーパーマーケットへの行き方、パスタの水を切る方法などを調べ、成功裏に材料を購入し、美味しい食事を準備した場合、あなたはおそらくそれを知的だと考えるでしょう。実際、それはあなたのリクエストを受けてあなたの目標を採用し、その後、レジでの支払いからパルメザンチーズをおろすまでの自分自身のサブゴールの階層に分解しました。この意味で、知的な行動は目標達成と不可分に結びついています。 図2.2：ハンス・モラベックの「人間の能力の風景」のイラスト。ここでは、標高がコンピュータにとっての難易度を表し、上昇する海面がコンピュータができることを示しています。私たち人間がタスクの難易度を評価する際、どれだけ自分たちにとって難しいかを基準にするのは自然なことですが（図2.1のように）、これがコンピュータにとっての難しさを誤解させることがあります。314,159に271,828を掛けるのは、友人の写真を認識するよりもずっと難しいと感じますが、実際にはコンピュータは私が生まれるずっと前から算数では私たちを圧倒しており、人間レベルの画像認識が可能になったのは最近のことです。このように、低レベルの感覚運動タスクが非常に多くの計算資源を必要としながらも簡単に見える現象は「モラベックの逆説」として知られており、私たちの脳がこれらのタスクを簡単に感じさせるために、大量のカスタマイズされたハードウェアを専用しているからです。実際、私たちの脳の4分の1以上がこのために使われています。私はハンス・モラベックのこの比喩が大好きで、図2.2でそれを表現することにしました。 コンピュータは普遍的な機械であり、その可能性は無限のタスクに均等に広がっています。一方で、人間の能力は生存にとって重要な分野では強いものの、遠く離れたことに対しては弱いのです。「人間の能力の風景」を想像してみてください。そこには「算数」や「暗記」といった低地があり、「定理証明」や「チェスプレイ」といった丘陵があり、「移動」や「手と目の協調」、「社会的相互作用」といった高い山々があります。コンピュータの性能向上は、まるで水がゆっくりと風景を浸水させていくようなものです。半世紀前、低地が浸水し始め、人間の計算者や記録係が追い出されましたが、私たちのほとんどは無事でした。今やその水位は丘陵に達し、そこにいる私たちの前哨基地は撤退を考えています。私たちは山の頂上で安全だと感じていますが、このままのペースでいけば、そこもまた半世紀以内に水没するでしょう。私はその日が近づくにつれ、私たちが箱舟を作り、海の生活を受け入れるべきだと提案します。 彼がこれらの文章を書いてから数十年の間に、海面は彼の予測通り、容赦なく上昇し続けています。まるでステロイドを使用した地球温暖化のように、彼の丘陵のいくつか（チェスを含む）はとっくに水没してしまいました。次に何が起こるのか、私たちがそれに対して何をすべきかが、この本の残りの部分のテーマです。海面が上昇し続ける中で、いつかそれが転換点に達し、劇的な変化を引き起こすかもしれません。この重要な海面は、機械がAI設計を行えるようになることに対応しています。この転換点に達する前は、海面の上昇は人間が機械を改善することによって引き起こされますが、その後は、機械が機械を改善することによって引き起こされ、潜在的には人間が行うよりもはるかに速く、すべての土地を急速に水没させる可能性があります。これは「シンギュラリティ」という魅力的で物議を醸すアイデアであり、第4章で楽しみながら探求していきます。 コンピュータの先駆者であるアラン・チューリングは、コンピュータが特定の最低限の操作を実行できるなら、十分な時間とメモリがあれば、他のどのコンピュータでもできることをプログラムできることを証明しました。この重要な閾値を超える機械は「普遍コンピュータ」（またはチューリング普遍コンピュータ）と呼ばれ、今日のスマートフォンやノートパソコンはこの意味で普遍的です。同様に、AI設計に必要な重要な知性の閾値を普遍的知性の閾値と考えるのが好きです。十分な時間とリソースがあれば、AIは他の知的存在と同様に、あらゆる目標を達成できる能力を持つことができます。たとえば、より良い社交スキルや予測スキル、AI設計スキルを身につけたいと決めれば、それを習得することができます。また、ロボット工場の作り方を考え出すことに決めれば、それも可能です。言い換えれば、普遍的知性は「ライフ3.0」へと発展する可能性を秘めています。人工知能研究者の間での一般的な考え方は、知性は最終的には情報と計算に関するものであり、肉体や血液、炭素原子に関するものではないということです。つまり、機械がいつの日か私たちと同じくらいの知性を持つことができない理由は根本的には存在しないのです。しかし、物理学が教えてくれたように、根本的なレベルではすべてが物質とエネルギーの動きであることを考えると、情報や計算とは一体何なのでしょうか？情報や計算のような抽象的で無形、かつ霊的なものが、どのようにして具体的な物理的なものによって具現化されるのでしょうか？特に、物理法則に従って動く一群の無知な粒子が、どのようにして私たちが「知的」と呼ぶ行動を示すことができるのでしょうか？もしこの質問への答えが明白だと感じ、機械が今世紀中に人間と同じくらい知的になる可能性があると考えるなら（たとえば、あなたがAI研究者である場合）、この章の残りをスキップして第3章に進んでください。そうでない場合は、次の3つのセクションを特にあなたのために書いたことを知って喜んでいただけるでしょう。 **記憶とは何か？** もし私たちが地図帳が世界に関する情報を含んでいると言うなら、それは本の状態（特に、文字や画像に色を与える特定の分子の位置）と世界の状態（たとえば、大陸の位置）との関係を意味します。もし大陸が異なる場所にあったなら、その分子も異なる場所にあることになります。私たち人間は、情報を保存するために本や脳、ハードドライブなど、さまざまなデバイスを使用しており、これらはすべて共通の特性を持っています。それは、これらの状態が他の私たちが気にかける物事の状態に関連付けられ（したがって、私たちに情報を提供することができる）るということです。これらのデバイスが情報を保存するための記憶装置として有用であるために共通して持つ根本的な物理的特性は何でしょうか？その答えは、すべてが多くの異なる長寿命の状態にあることができるということです。つまり、情報が必要になるまでそれをエンコードするのに十分な長寿命を持っているのです。 簡単な例として、16の異なる谷がある丘の上にボールを置いたとします（図2.3参照）。ボールが転がり下りて静止すると、それは16の場所のいずれかにあることになりますので、その位置を使って1から16の任意の数字を記憶することができます。この記憶装置は非常に堅牢です。なぜなら、外部の力によって少し揺れたり乱されたりしても、ボールは置いた谷の中に留まる可能性が高いため、どの数字が記憶されているかを依然として判断できるからです。この記憶が非常に安定している理由は、ボールを谷から持ち上げるのに必要なエネルギーが、ランダムな乱れが提供するエネルギーよりも大きいためです。この同じ考え方は、動くボールだけでなく、より一般的に安定した記憶を提供します。複雑な物理システムのエネルギーは、さまざまな機械的、化学的、電気的、磁気的特性に依存することがあり、記憶したい状態からシステムを変えるのにエネルギーが必要であれば、その状態は安定します。これが固体が多くの長寿命の状態を持つ理由であり、液体や気体がそうでない理由です。たとえば、金の指輪に誰かの名前を刻むと、その情報は数年後も残ります。なぜなら、金を再形成するにはかなりのエネルギーが必要だからです。しかし、池の表面に刻むと、水面が簡単に形を変えるため、1秒以内にその情報は失われてしまいます。 最も単純な記憶装置は、わずか2つの安定した状態を持っています（図2.3）。したがって、これをバイナリーデジット（略して「ビット」）をエンコードするものと考えることができます。つまり、0または1です。より複雑な記憶装置によって保存される情報は、複数のビットで同等に保存できます。たとえば、図2.3に示されている4つのビットを合わせると、2×2×2×2 = 16の異なる状態（0000、0001、0010、0011、...、1111）を持つことができるため、これらはより複雑な16状態システムと正確に同じ記憶容量を持っています。したがって、ビットを情報の原子として考えることができます。これは、さらに細分化できない最小の不可分な情報の塊であり、任意の情報を構成するために結合することができます。たとえば、私は「word」という単語を入力しましたが、私のノートパソコンはそれを4つの数字のシーケンス119 111 114 100として記憶し、それぞれの数字を8ビットで保存しています（小文字の各文字は、96にそのアルファベットの順序を加えた数で表されます）。私がキーボードのwキーを押すと、ノートパソコンは画面にwの視覚的なイメージを表示し、このイメージもビットで表現されています。32ビットが画面の数百万のピクセルの色を指定しています。 二状態システムは製造が容易で扱いやすいため、現代のコンピュータは情報をビットとして保存していますが、これらのビットはさまざまな形で具現化されています。DVDでは、各ビットはプラスチック表面の特定の点に微小な凹みがあるかないかに対応しています。ハードドライブでは、各ビットは表面が二つの方法のいずれかで磁化されている点に対応しています。私のノートパソコンの作業メモリでは、各ビットは特定の電子の位置に対応し、マイクロキャパシタというデバイスが充電されているかどうかを決定します。ある種のビットは、光の速さで運ぶのにも便利です。たとえば、あなたのメールを送信する光ファイバーでは、各ビットは特定の時間にレーザービームが強いか弱いかに対応しています。 エンジニアは、ビットを安定していて読み取りやすい（例えば金の指輪のように）システムにエンコードすることを好みますが、書き込みも容易であることが求められます。ハードドライブの状態を変更するのに必要なエネルギーは、金を彫刻するよりもはるかに少なくて済みます。また、エンジニアは扱いやすく、大量生産が安価にできるシステムを好みます。しかし、それ以外の点では、ビットが物理的なオブジェクトとしてどのように表現されているかにはあまり関心がありません。そして、あなたもほとんどの場合、気にしないでしょう。なぜなら、それは単に重要ではないからです！友人に印刷用の文書をメールで送信した場合、その情報はハードドライブの磁化からコンピュータの作業メモリの電荷、無線ネットワークの電波、ルーターの電圧、光ファイバーのレーザーパルス、そして最終的には紙の上の分子へと急速にコピーされることがあります。言い換えれば、情報は物理的な基盤とは独立して独自の生命を持つことができるのです！実際、私たちが関心を持つのは通常、この基盤に依存しない情報の側面です。友人があなたにその文書について話すために電話をかけてきた場合、彼女はおそらく電圧や分子について話すために電話をかけてきたわけではありません。これは、知性のような無形のものが有形の物質に具現化される方法の最初の手がかりであり、この基盤の独立性の考え方は、情報だけでなく計算や学習にも深く関わっていることがすぐにわかるでしょう。 この基盤の独立性のおかげで、巧妙なエンジニアたちは新しい技術に基づいてコンピュータ内部のメモリデバイスを劇的に優れたものに繰り返し置き換えることができ、ソフトウェアに一切の変更を必要としませんでした。その結果は驚異的で、図2.4に示されているように、過去60年間でコンピュータのメモリは約2年ごとに半分の価格になりました。ハードドライブは1億倍以上安くなり、単なるストレージではなく計算に役立つ高速メモリはなんと10兆倍も安くなりました。もしあなたがすべての買い物で「99.99999999999%オフ」の割引を受けられたら、ニューヨーク市の不動産を約10セントで、これまでに採掘されたすべての金を約1ドルで購入できるでしょう。 私たちの多くにとって、記憶技術の驚異的な進歩は個人的な思い出と結びついています。私は高校時代にキャンディストアで働いて、16キロバイトのメモリを搭載したコンピュータを購入したことを懐かしく思い出します。そして、高校のクラスメートであるマグナス・ボディンと一緒にそのコンピュータ用のワードプロセッサを作り、販売することになった際、処理する単語のために十分なメモリを確保するために、すべてを超コンパクトな機械語で書かなければなりませんでした。70キロバイトを保存できるフロッピーディスクに慣れた後、1.44メガバイトも保存できる3.5インチのフロッピーディスクには驚かされ、まるごと一冊の本を保存できることに感動しました。そして、初めて手に入れた10メガバイトのハードドライブは、今の曲のダウンロードの一つをかろうじて収められるかもしれません。最近、約100ドルで300,000倍の容量を持つハードドライブを購入したとき、これらの青春時代の思い出はほとんど現実とは思えないものでした。 テラバイト（10の12乗）とは、いったいどれだけのバイトのメモリを1ドルで買えるのでしょうか？ギガバイト（10の9乗）、メガバイト（10の6乗）、バイト（10の3乗）といった具合です。過去60年間、コンピュータのメモリは約2年ごとに半分の価格になり、約20年ごとには千分の1の価格になっています。バイトは8ビットに相当します。データはジョン・マッカラムから提供されたもので、http://www.jcmit.net/memoryprice.htmにあります。 では、人間が設計したのではなく進化した記憶装置についてはどうでしょうか？生物学者たちは、世代間で設計図をコピーした最初の生命体が何であったかをまだ知らないものの、それはかなり小さかったかもしれません。ケンブリッジ大学のフィリップ・ホリガーが率いるチームは、2016年に412ビットの遺伝情報をコード化したRNA分子を作成し、自身よりも長いRNA鎖をコピーすることができました。これは、初期の地球上の生命が短い自己複製RNAの断片を含んでいたという「RNAワールド」仮説を強化するものです。これまでに知られている進化した記憶装置の中で最も小さいのは、約40キロバイトを保存する細菌「カンジダトゥス・カーソネラ・ルッディ」のゲノムです。一方で、私たち人間のDNAは約1.6ギガバイトを保存しており、これはダウンロードした映画に匹敵します。 前の章で述べたように、私たちの脳は遺伝子よりもはるかに多くの情報を保存しています。電気的には約10ギガバイト（1000億個のニューロンのうち、どのニューロンが同時に活動しているかを特定）であり、化学的/生物学的には約100テラバイト（異なるニューロンがシナプスでどれだけ強く結びついているかを特定）です。これらの数字を機械の記憶と比較すると、世界の最高のコンピュータは今やどの生物システムよりも記憶力が優れており、そのコストは急速に下がっており、2016年には数千ドルでした。 あなたの脳の記憶は、コンピュータのメモリとは非常に異なる方法で機能します。それは構造だけでなく、使用方法においても異なります。コンピュータやハードドライブから記憶を取り出す際には、保存場所を指定しますが、脳から記憶を取り出す際には、保存されている内容について何かを指定する必要があります。 コンピュータのメモリ内の各ビットのグループには数値のアドレスがあり、情報を取得するためには、コンピュータがどのアドレスを参照するかを指定します。これは、私が「私の本棚に行って、上の棚の右から5番目の本を取って、314ページに何が書いてあるか教えて」と言うのと似ています。一方で、あなたが脳から情報を取り出す方法は、検索エンジンから情報を取得するのに似ています。特定の情報やそれに関連する何かを指定すると、それがポンと現れます。たとえば、「to be or not」と言ったり、グーグルで検索したりすると、「To be, or not to be, that is the question.」が引き出される可能性が高いです。引用の別の部分を使ったり、少し混乱させたりしても、たぶんうまくいくでしょう。このような記憶システムは自己連想型と呼ばれ、アドレスによるのではなく、連想によって思い出します。1982年の有名な論文で、物理学者のジョン・ホップフィールドは、相互接続されたニューロンのネットワークが自己連想型メモリとして機能する方法を示しました。私はこの基本的なアイデアが非常に美しいと思っており、複数の安定状態を持つ任意の物理システムに対して機能します。たとえば、図2.3の1ビットシステムのように、2つの谷を持つ表面上のボールを考えてみましょう。この表面を形作り、ボールが静止できる2つの最小値のx座標をそれぞれx = V2 * 1.41421とx = * 3.14159に設定します。もしあなたが2が3に近いことだけを覚えているなら、単にボールをx = 3に置き、最寄りの最小値に転がり降りるにつれて、より正確な2の値を明らかにするのを見守ることができます。ホップフィールドは、複雑なニューロンのネットワークが非常に多くのエネルギー最小値を持つ類似の風景を提供することを認識しました。そして、後に、主要な混乱を引き起こすことなく、千のニューロンごとに138の異なる記憶を詰め込むことができることが証明されました。 計算とは何でしょうか？物理的なオブジェクトが情報を記憶できることを見てきましたが、どうやって計算するのでしょうか？計算とは、ある記憶状態を別の記憶状態に変換することです。言い換えれば、計算は情報を取り込み、それを変換し、数学者が関数と呼ぶものを実装します。私は関数を情報のミートグラインダーのように考えています。図2.5に示されているように、上から情報を入れ、クランクを回すと、下から処理された情報が出てきます。そして、異なる入力で何度でも繰り返すことができます。この情報処理は決定論的であり、同じ入力で繰り返すと、毎回同じ出力が得られます。 いくつかの関数は非常に単純なもので、例えば「NOT」という関数は1ビットを入力として受け取り、その逆を出力します。つまり、0を1に、1を0に変換します。学校で学ぶ関数は通常、ポケット計算機のボタンに対応しており、1つ以上の数字を入力し、1つの数字を出力します。例えば、関数x?は単に数字を入力し、それを自分自身で掛け算した結果を出力します。一方で、他の関数は非常に複雑なものもあります。例えば、任意のチェスの局面を表すビットを入力し、最適な次の手を表すビットを出力する関数を持っていれば、世界コンピュータチェス選手権で勝つことができます。また、世界中の金融データを入力し、最適な株を出力する関数を持っていれば、すぐに非常に裕福になるでしょう。多くのAI研究者は、特定の関数を実装する方法を探求するためにキャリアを捧げています。例えば、機械翻訳研究の目標は、ある言語のテキストを表すビットを入力し、別の言語で同じテキストを表すビットを出力する関数を実装することです。また、自動キャプション研究の目標は、画像を表すビットを入力し、それを説明するテキストを表すビットを出力することです（図2.5）。図2.6では、いわゆるNANDゲートが2つのビットAとBを入力として受け取り、Cという1ビットを出力します。このときのルールは、AとBが1の場合にCは0になり、それ以外の場合はCは1になります。多くの物理システムはNANDゲートとして使用できます。中央の例では、スイッチがビットとして解釈され、0は開いている状態、1は閉じている状態を表します。スイッチAとBの両方が閉じているとき、電磁石がスイッチCを開きます。右端の例では、電圧（電気的ポテンシャル）がビットとして解釈され、1は5ボルト、0は0ボルトを表します。スイッチAとBの両方が5ボルトのとき、2つのトランジスタが電気を通し、ワイヤCは約0ボルトに下がります。言い換えれば、非常に複雑な関数を実装できるなら、高度な目標を達成できる知的な機械を構築できるということです。これにより、物質がどのようにして知的であり得るのかという問いがより明確になります。特に、見た目には無知な物質の塊がどのようにして複雑な関数を計算できるのかということです。ただ金の指輪や他の静的な記憶装置のように動かずにいるのではなく、未来の状態が現在の状態に複雑（そしてできれば制御可能またはプログラム可能）な方法で依存するような複雑なダイナミクスを示さなければなりません。その原子の配置は、何も面白いことが変わらない硬い固体よりも秩序が少なく、液体や気体よりも秩序が多い必要があります。具体的には、システムが入力情報をエンコードする状態に置かれ、物理法則に従って一定の時間進化させ、その結果得られた最終状態を出力情報として解釈したとき、その出力が入力の望ましい関数であるという特性を持つことを望んでいます。もしこれが成り立つなら、私たちのシステムは私たちの関数を計算していると言えるでしょう。 このアイデアの最初の例として、非常にシンプル（しかし非常に重要でもある）な機能であるNANDゲートを、普通の物質から作る方法を探ってみましょう。この機能は2つのビットを入力として受け取り、1つのビットを出力します。両方の入力が1の場合には0を出力し、それ以外の場合には1を出力します。バッテリーと電磁石を使って2つのスイッチを直列に接続すると、最初のスイッチと2番目のスイッチが両方とも閉じている（「オン」）ときだけ、電磁石が作動します。図2.6に示すように、電磁石の下に3番目のスイッチを置くと、電磁石が作動しているときにそのスイッチを引き離すことになります。最初の2つのスイッチを入力ビット、3番目のスイッチを出力ビット（0はスイッチが開いている、1はスイッチが閉じている）として解釈すると、NANDゲートが完成します。つまり、3番目のスイッチは最初の2つのスイッチが閉じているときだけ開いています。NANDゲートを構築する方法は他にもたくさんあり、例えば図2.6に示すようにトランジスタを使う方法がより実用的です。今日のコンピュータでは、NANDゲートは通常、微細なトランジスタやシリコンウエハーに自動的にエッチングできる他の部品から構成されています。コンピュータサイエンスには、NANDゲートが普遍的であるという驚くべき定理があります。これは、NANDゲートをつなげることで任意の明確に定義された機能を実装できることを意味します。したがって、十分な数のNANDゲートを構築できれば、あらゆる計算を行うデバイスを作ることができます。この仕組みを少し体験したい場合は、図2.7にNANDゲートだけを使って数を掛け算する方法を示しました。MITの研究者ノーマン・マルゴリスとトンマソ・トフォリは、任意の計算を実行できる物質に「コンピュートロニウム」という名前を付けました。コンピュートロニウムを作るのは特に難しくないことがわかりました。物質は、NANDゲートを任意の方法で接続できる必要があるだけです。実際、他にもさまざまな種類のコンピュートロニウムがあります。NANDゲートを、両方の入力が0のときだけ1を出力するNORゲートに置き換えるというシンプルなバリエーションも機能します。次のセクションでは、任意の計算を実装できる神経ネットワークについて探ります。科学者で起業家のスティーブン・ウルフラムは、隣接するビットの状態に基づいてビットを繰り返し更新する「セルオートマトン」と呼ばれるシンプルなデバイスでも同様のことが成り立つことを示しました。1936年には、コンピュータの先駆者アラン・チューリングが、テープ上の記号を操作できるシンプルな機械（現在「普遍的チューリングマシン」として知られています）が、任意の計算を実装できることを画期的な論文で証明しました。要するに、物質が任意の明確に定義された計算を実装することは可能であり、その方法は無数に存在するのです。 前述のように、チューリングは1936年の論文でさらに深いことを証明しました。それは、ある種類のコンピュータが特定の最小限の操作を実行できるならば、それは普遍的であり、十分なリソースがあれば、他のどのコンピュータでもできることを何でも実行できるということです。彼は、自身のチューリングマシンが普遍的であることを示しました。そして、物理学により密接に関連させると、私たちはこの普遍的なコンピュータのファミリーがNANDゲートのネットワークや相互接続されたニューロンのネットワークといった多様なオブジェクトを含むことを見てきました。実際、スティーブン・ウルフラムは、天候システムから脳に至るまで、ほとんどの非自明な物理システムは、任意に大きくかつ長持ちさせることができれば普遍的なコンピュータになるだろうと主張しています。 すべてはNANDゲートから構築できます： 基本的な構成要素 乗算： 加算： 図2.7：明確に定義された計算は、NANDゲートだけを巧妙に組み合わせることで実行できます。例えば、上記の加算および乗算モジュールは、いずれも4ビットで表現された2つの2進数を入力し、それぞれ5ビットおよび8ビットで表現された2進数を出力します。小さなモジュールであるNOT、AND、XOR、+（3つの別々のビットを2ビットの2進数に合計するもの）は、NANDゲートから構築されています。この図を完全に理解することは非常に難しく、また本書の残りの部分を理解するためには全く必要ありません。ここに含めたのは、普遍性の概念を示すためと、私の内なるオタク心を満たすためです。 同じ計算が任意の普遍的コンピュータで実行できるという事実は、計算が情報と同様に基盤に依存しないことを意味します。それは物理的な基盤から独立して、自らの生命を持つことができるのです。したがって、もしあなたが未来のコンピュータゲームの中で意識を持つ超知能のキャラクターであれば、Windowsデスクトップ、Mac OSラップトップ、またはAndroidフォンの上で動作しているかどうかを知る方法はありません。なぜなら、あなたは基盤に依存しないからです。また、マイクロプロセッサが使用しているトランジスタの種類を知る方法もありません。この基盤の独立性という重要な考え方を初めて理解したのは、物理学において多くの美しい例があるからです。例えば波：波は速度、波長、周波数といった特性を持ち、私たち物理学者はそれらが従う方程式を、特定の物質が何であるかを知らなくても研究できます。何かを聞くとき、あなたは空気と呼ばれる気体の混合物の中で分子が跳ね回ることによって引き起こされる音波を検出しており、私たちはこれらの波について、距離の二乗に比例して強度が減衰することや、開いたドアを通過する際にどのように曲がるか、壁に反響してエコーを引き起こすかといった興味深いことを計算できますが、空気が何でできているかを知る必要はありません。 実際、私たちはそれが分子でできていることさえ知る必要はありません。酸素、窒素、二酸化炭素などの詳細を無視しても構いません。なぜなら、波の基盤に関して重要なのは、私たちが測定できる一つの数値、つまり波の速度だけだからです。この場合、波の速度は約300メートル毎秒です。実際、私が昨春MITの学生に教えたこの波の方程式は、物理学者たちが原子や分子の存在を確立するずっと前に発見され、広く利用されていました。この波の例は、三つの重要な点を示しています。第一に、基盤の独立性は基盤が不要であることを意味するのではなく、ほとんどの詳細が重要でないことを意味します。ガスがなければ音波は存在できませんが、どんなガスでも構いません。同様に、物質がなければ計算はできませんが、NANDゲートや接続されたニューロン、または普遍的な計算を可能にする他の構成要素に配置できる限り、どんな物質でも大丈夫です。第二に、基盤に依存しない現象は、その基盤から独立して独自の生命を持ちます。波は湖を横切って進むことができますが、その水分子は実際には移動せず、主に上下に揺れ動いているだけです。スポーツスタジアムでファンが「ウェーブ」をするように。第三に、私たちが興味を持つのはしばしば基盤に依存しない側面だけです。サーフィンをする人は、波の詳細な分子構成よりも、波の位置や高さの方が重要です。情報についてこれが真実であることを見てきましたが、計算にも当てはまります。二人のプログラマーが共同でコードのバグを探しているとき、彼らはおそらくトランジスタについて話し合ってはいません。 私たちは、物質的なものがどのように知性のような非物質的で抽象的、かつ空気のようなものを生み出すのかという最初の質問に対する答えにたどり着きました。それは基盤に依存しないため、物理的な詳細に依存せず、反映しない独自の生命を持っているからです。要するに、計算は粒子の時空間の配置におけるパターンであり、重要なのは粒子ではなくそのパターンです。物質は重要ではありません。言い換えれば、ハードウェアは物質であり、ソフトウェアはパターンです。この計算の基盤独立性は、AIが可能であることを示唆しています。知性は肉体や血液、炭素原子を必要としません。この基盤の独立性のおかげで、巧妙なエンジニアたちは、ソフトウェアを変更することなく、コンピュータ内部の技術を劇的に優れたものに何度も置き換えることができました。その結果は、記憶装置に関するものと同様に驚くべきものでした。図2.8に示されているように、計算はおおよそ数年ごとに半分のコストになり続けており、この傾向は100年以上続いており、私の祖母が生まれた時からコンピュータのコストは驚くべきことに1000兆兆（10の18乗）倍も下がっています。 もしすべてのものが百万億倍安くなったら、たったの1セントの100分の1で、今年地球上で生産されたすべての財やサービスを購入できることになります。この劇的なコストの低下は、計算技術が現在どこにでも存在する大きな理由の一つです。かつては建物のような大規模なコンピュータ施設から、私たちの家庭や車、ポケットの中にまで広がり、さらにはスニーカーのような予想外の場所にも現れています。なぜ私たちの技術は定期的にその能力を倍増させ、数学者が「指数関数的成長」と呼ぶ現象を示すのでしょうか？実際、トランジスタの小型化（ムーアの法則として知られるトレンド）だけでなく、計算全体（図2.8）、メモリ（図2.4）、さらにはゲノム配列解析や脳画像技術など、さまざまな技術においてもこの現象が起こっているのはなぜでしょうか？レイ・カーツワイルは、この持続的な倍増現象を「加速するリターンの法則」と呼んでいます。1,000ドルで何回の計算を行うことができるでしょうか？ 1900年以降、計算は約2年ごとに半分の価格になっています。このグラフは、1,000ドルで購入できる浮動小数点演算毎秒（FLOPS）で測定された計算能力を示しています。浮動小数点演算を定義する特定の計算は、ビットの反転やNAND評価など、約10^5の基本的な論理演算に相当します。私が知っている自然界における持続的な倍増のすべての例は、同じ根本的な原因を持っており、この技術的なものも例外ではありません：各ステップが次のステップを生み出します。たとえば、あなた自身は受精後すぐに指数関数的成長を遂げました。あなたの細胞は毎日約2つに分裂し、あなたの細胞の総数は日々1、2、4、8、16と増加していきました。私たちの宇宙の起源に関する最も一般的な科学理論であるインフレーションによれば、私たちの赤ちゃん宇宙もあなたと同じように指数関数的に成長し、定期的にそのサイズを倍増させ、原子よりもはるかに小さく軽い粒子が、私たちが望遠鏡で見たことのあるすべての銀河よりも重くなるまで成長しました。再び、その原因は各倍増ステップが次のステップを引き起こすプロセスでした。これが技術の進歩の仕方でもあります。技術が2倍の力を持つようになると、それを使ってさらに2倍の力を持つ技術を設計・構築することができ、ムーアの法則の精神に従って能力の倍増が繰り返されます。 私たちの技術力の倍増と同じくらい定期的に起こるのは、倍増が終わるという主張の出現です。確かに、ムーアの法則は終わるでしょう。つまり、トランジスタがどれだけ小さく作れるかには物理的な限界があるのです。しかし、一部の人々はムーアの法則が持続的な倍増と同義であると誤解しています。 私たちの技術力についての話です。対照的に、レイ・カーツワイルは、ムーアの法則が最初の技術的パラダイムではなく、第五の技術的パラダイムであり、コンピュータの指数関数的成長をもたらすことを指摘しています。図2.8に示されているように、ある技術が改善を止めるたびに、私たちはそれをさらに優れた技術に置き換えてきました。真空管の小型化が限界に達したとき、私たちはそれをトランジスタに、さらに集積回路に置き換えました。この技術が限界に達すると、私たちは三次元回路を使用したり、電子以外の何かを使ったりするなど、試すべき他の多くの選択肢があります。次の画期的な計算基盤が何になるのかは誰にもわかりませんが、物理法則によって課せられた限界にはまだ遠く及んでいないことは確かです。私のMITの同僚であるセス・ロイドは、この根本的な限界が何であるかを明らかにしており、私たちが第6章で詳しく探るように、この限界は現在の最先端技術の33桁（10^7倍）を超えたものです。したがって、私たちのコンピュータの性能を数年ごとに倍増させ続けたとしても、その最終的な限界に達するまでには200年以上かかるでしょう。 すべての汎用コンピュータは同じ計算を行う能力を持っていますが、中には他よりも効率的なものもあります。たとえば、何百万回もの掛け算を必要とする計算では、図2.6のように別々のトランジスタから構成された何百万もの掛け算モジュールを必要とするわけではありません。1つのモジュールを使い回すことで、適切な入力を与えれば何度も使用できるからです。この効率性の精神のもと、ほとんどの現代のコンピュータは、計算を複数の時間ステップに分割するパラダイムを採用しています。この間、情報はメモリモジュールと計算モジュールの間で行き来します。この計算アーキテクチャは、アラン・チューリング、コンラート・ツーゼ、プレスパー・エッカート、ジョン・モークリー、ジョン・フォン・ノイマンなどのコンピュータの先駆者たちによって1935年から1945年の間に開発されました。 具体的には、コンピュータのメモリはデータとソフトウェア（プログラム、つまりデータに対して何をするかの指示リスト）を両方とも保存します。各時間ステップで、中央処理装置（CPU）はプログラム内の次の命令を実行します。この命令は、データの一部に適用する単純な機能を指定します。次に何をすべきかを追跡するコンピュータの部分は、プログラムカウンタと呼ばれるメモリの別の部分であり、プログラム内の現在の行番号を保存しています。次の命令に進むには、プログラムカウンタに1を加えます。プログラムの別の行にジャンプするには、その行番号をプログラムカウンタにコピーするだけです。これがいわゆる「if」文やループが実装される方法です。 今日のコンピュータは、並列処理によって追加の速度を得ることがよくあります。これは、モジュールの再利用を巧妙に解消する方法です。もし計算が、ある部分の入力が別の部分の出力を必要としない場合に並行して行える部分に分割できるなら、異なるハードウェアの部分によって同時に計算されることが可能です。究極の並列コンピュータは量子コンピュータです。量子コンピューティングの先駆者であるデイビッド・ドイッチは、「量子コンピュータはマルチバース全体で自分自身の膨大なバージョンと情報を共有し、他のバージョンからの助けを借りることで、私たちの宇宙でより早く答えを得ることができる」と物議を醸す主張をしています。商業的に競争力のある量子コンピュータが今後数十年のうちに構築できるかどうかはまだ分かりません。それは、量子物理学が私たちが考えているように機能するかどうかと、私たちが困難な技術的課題を克服する能力に依存していますが、世界中の企業や政府はその可能性に年間数千万ドルを賭けています。量子コンピュータは一般的な計算を高速化することはできませんが、暗号システムの解読やニューラルネットワークのトレーニングなど、特定のタイプの計算を劇的に高速化する可能性のある巧妙なアルゴリズムが開発されています。量子コンピュータは、原子や分子、新しい材料を含む量子力学的システムの挙動を効率的にシミュレーションすることもでき、化学実験室での測定を、従来のコンピュータでのシミュレーションが風洞での測定を置き換えたのと同じように置き換えることができます。 学習とは何でしょうか？ポケット計算機は算数のコンテストで私に勝つことができますが、どれだけ練習してもその速度や正確さを向上させることはありません。計算機は学習しません。例えば、私が平方根ボタンを押すたびに、正確に同じ関数を同じ方法で計算します。同様に、私が初めてチェスで負けたプログラムも、自らのミスから学ぶことはなく、賢いプログラマーが設計した良い次の手を計算する関数を単に実行していただけです。それに対して、マグヌス・カールセンが5歳で初めてチェスに負けたとき、彼は18年後に世界チェスチャンピオンになるための学習プロセスを始めました。学習する能力は、一般的な知性の最も魅力的な側面の一つと言えるでしょう。私たちは、見た目は愚かな物質の塊が記憶し計算することができることをすでに見てきましたが、どうやって学習するのでしょうか？難しい質問の答えを見つけることは、関数を計算することに対応しており、適切に配置された物質は計算可能な任意の関数を計算できることが分かっています。私たち人間がポケット計算機やチェスプログラムを初めて作ったとき、私たちが配置を行いました。物質が学習するためには、物質自身が再配置され、物理法則に従うことで、望ましい関数を計算する能力を向上させる必要があります。学習プロセスを解明するために、まずは非常にシンプルな物理システムがどのようにしてxの数字や他の数を学ぶことができるかを考えてみましょう。 上記では、多くの谷を持つ表面（図2.3参照）が記憶装置としてどのように利用できるかを見てきました。例えば、ある谷の底が位置x = 7 ~ 3.14159にあり、近くに他の谷がない場合、x = 3の位置にボールを置くと、ボールが谷の底に転がり落ちることで欠けている小数点以下の数字を計算する様子を見ることができます。さて、もしその表面が柔らかい粘土でできていて、最初は完全に平らな状態から始まるとしましょう。数学好きの人たちがそれぞれのお気に入りの数字の位置にボールを繰り返し置くと、重力によって次第にこれらの位置に谷が形成され、その後、粘土の表面はこれらの記憶を呼び起こすために利用できるようになります。言い換えれば、粘土の表面は7のような数字の桁を計算することを学習したのです。他の物理的なシステム、例えば脳は、同じアイデアに基づいてより効率的に学習することができます。ジョン・ホップフィールドは、彼が前述した相互接続されたニューロンのネットワークが類似の方法で学習できることを示しました。特定の状態に繰り返し置くと、そのネットワークは次第にこれらの状態を学び、近くの状態からそれらの状態に戻ることができるのです。もしあなたが家族のメンバーを何度も見たことがあるなら、彼らに関連する何かによって彼らの姿の記憶が引き起こされることがあります。ニューラルネットワークは、現在、生物学的および人工知能の両方を変革し、最近では機械学習と呼ばれるAIのサブフィールドを支配し始めています（経験を通じて改善されるアルゴリズムの研究）。このようなネットワークがどのように学習できるかを深く掘り下げる前に、まず彼らがどのように計算できるかを理解しましょう。ニューラルネットワークは、互いに影響を与え合うことができる相互接続されたニューロンの集まりに過ぎません。あなたの脳には、銀河系の星の数と同じくらいのニューロンが含まれており、その数は約1000億です。平均して、これらのニューロンのそれぞれは、シナプスと呼ばれる接続を介して約1000の他のニューロンに接続されています。そして、これら約100兆のシナプス接続の強度が、あなたの脳のほとんどの情報を符号化しています。ニューラルネットワークを図式的に描くと、ニューロンを表す点の集まりと、シナプスを表す線で接続されたものになります（図2.9参照）。実際のニューロンは非常に複雑な電気化学的装置であり、この図式的なイラストとはまったく異なります。ニューロンは、軸索や樹状突起といった異なる部分を含み、さまざまな方法で機能する多くの異なる種類のニューロンがあります。また、1つのニューロンの電気的活動が他のニューロンにどのように、いつ影響を与えるかの正確な詳細は、現在も活発に研究されています。しかし、AI研究者たちは、これらの複雑さを無視し、実際の生物学的ニューロンを非常に単純な同一のシミュレーションニューロンに置き換えても、ニューラルネットワークが多くの非常に複雑なタスクで人間レベルのパフォーマンスを達成できることを示しています。 現在、最も人気のある人工ニューラルネットワークのモデルは、各ニューロンの状態を単一の数値で表し、各シナプスの強さも単一の数値で表現します。このモデルでは、各ニューロンは定期的な時間ステップで、接続されたすべてのニューロンからの入力を平均化し、シナプスの強さで重み付けを行い、必要に応じて定数を加え、その結果に「活性化関数」と呼ばれるものを適用して次の状態を計算します。 ニューラルネットワークを関数として利用する最も簡単な方法は、フィードフォワード型にすることです。これは、情報が一方向にのみ流れるもので、図2.9のように、関数への入力を上部のニューロン層に接続し、出力を下部のニューロン層から取り出します。図2.9では、ニューロンのネットワークがNANDゲートのネットワークと同様に関数を計算できることを示しています。例えば、人工ニューラルネットワークは、異なる画像ピクセルの明るさを表す数値を入力し、その画像がさまざまな人々を描写している確率を表す数値を出力するように訓練されています。ここで、各人工ニューロン（円）は、上から送られてくる接続（線）を介して受け取った数値の加重和を計算し、単純な関数を適用して結果を下に渡します。各次の層はより高次の特徴を計算します。典型的な顔認識ネットワークには数十万のニューロンが含まれていますが、図では明瞭さのためにほんの一部しか示されていません。 これらの単純な人工ニューラルネットワークの成功は、基盤の独立性の別の例です。ニューラルネットワークは、その構造の低レベルの詳細に依存せずに、非常に大きな計算能力を持っています。実際、ジョージ・サイベンコ、カート・ホルニク、マクスウェル・スティンチコム、ハルバート・ホワイトは1989年に驚くべきことを証明しました。つまり、このような単純なニューラルネットワークは、シナプスの強さの数値を調整することで、任意の関数を任意の精度で計算できるという意味で普遍的です。言い換えれば、進化は私たちの生物学的ニューロンを複雑にしたのは必要だからではなく、より効率的だったからであり、進化は人間のエンジニアとは異なり、単純で理解しやすい設計を報酬しないのです。 私がこれを初めて学んだとき、非常に単純なものがどのようにして非常に複雑なものを計算できるのか不思議に思いました。例えば、重み付き和を計算し、単一の固定関数を適用するだけで、どのようにして掛け算のような単純な計算ができるのでしょうか？この仕組みを少し体験したい方のために、図2.10では、わずか5つのニューロンで2つの任意の数を掛け算する方法と、1つのニューロンで3ビットを掛け算する方法を示しています。理論的には、任意の大きさのニューラルネットワークを使って何でも計算できることを証明できますが、その証明は、実際に合理的なサイズのネットワークでそれが可能かどうかについては何も言及していません。 実際、考えれば考えるほど、ニューラルネットワークがこれほどうまく機能することに驚かされます。例えば、メガピクセルのグレースケール画像を猫か犬の2つのカテゴリに分類したいとしましょう。もし各百万ピクセルが256の値のいずれかを取ることができるとすると、可能な画像の数は256の1009999乗になります。そして、各画像について、それが猫を描いている確率を計算したいのです。これは、画像を入力として確率を出力する任意の関数が256の1000000個の確率のリストによって定義されることを意味します。これは、私たちの宇宙に存在する原子の数（約10の78乗）よりもはるかに多い数字です。それにもかかわらず、数千または数百万のパラメータしか持たないニューラルネットワークが、なぜかこのような分類タスクをうまくこなすことができるのです。成功したニューラルネットワークが「安価」であるとは、つまり、これほど少ないパラメータで済むということはどういうことなのでしょうか？結局のところ、宇宙に収まるほど小さなニューラルネットワークは、ほとんどすべての関数を近似することに失敗し、与えられた計算タスクのごくわずかな部分でしか成功しないことが証明できます。 連続的な乗算ゲートと二進数の乗算ゲートの図が示されています。ここでの重要な点は、詳細を追う必要はなく、ニューロン（人工的なものでも生物的なものでも）が数学を行うことができるだけでなく、乗算にはNANDゲートよりもはるかに少ないニューロンが必要であるということです。数学に熱心なファン向けのオプショナルな詳細として、円は加算を行い、四角は関数oを適用し、線はそれらにラベル付けされた定数で乗算します。入力は実数（左）とビット（右）です。乗算は、a > 0（左）およびc > 0（右）のときに任意の精度で行われます。左側のネットワークは、原点で曲がっている任意の関数o(x)（二次導関数o”(0)が0でない）に対して機能し、これはo(x)をテイラー展開することで証明できます。右側のネットワークは、関数o(x)がxが非常に小さいときに0に、非常に大きいときに1に近づく必要があり、これはuvw = 1が成り立つのはu + v + w = 3のときだけであることからわかります。（これらの例は、私が学生のヘンリー・リンとデビッド・ロルニックと共に書いた論文「なぜディープで安価な学習がこれほどもうまくいくのか？」からのもので、http://arxiv.org/abs/1608.08225で見ることができます。）たくさんの乗算（上記のように）と加算を組み合わせることで、任意の多項式を計算することができ、これは滑らかな関数を近似することができることがよく知られています。このことや関連する謎について、学生のヘンリー・リンと一緒に考えるのはとても楽しい経験でした。私が人生で最も感謝していることの一つは、素晴らしい学生たちと協力する機会があることです。ヘンリーもその一人です。彼が最初に私のオフィスに入ってきて、私と一緒に働くことに興味があるかどうか尋ねたとき、私は彼に「あなたが私に興味があるかどうか尋ねる方が適切だろう」と思いました。 私と一緒に働くことに興味を持ってくれたのは、ルイジアナ州シュリーブポート出身の控えめでフレンドリー、そして目が輝いている若者でした。彼はすでに8本の科学論文を執筆し、フォーブスの「30歳未満の30人」に選ばれ、100万回以上の視聴を誇るTEDトークを行ったのです。そして彼はまだ20歳でした！1年後、私たちは一緒に論文を書きましたが、その結論は驚くべきものでした。神経ネットワークがなぜこれほど効果的に機能するのかという問いは、数学だけでは答えられず、その一部は物理学にあるということです。私たちは、物理法則が私たちに投げかけ、計算に興味を持たせる関数のクラスが非常に限られたものであることを発見しました。なぜなら、私たちがまだ完全には理解していない理由から、物理法則は驚くほどシンプルだからです。さらに、神経ネットワークが計算できる関数のごくわずかな部分は、物理学が私たちに興味を持たせる関数のごくわずかな部分と非常に似ているのです！私たちはまた、深層学習神経ネットワーク（多くの層を含むため「深い」と呼ばれます）が、これらの興味深い関数に対して浅いネットワークよりもはるかに効率的であることを示す以前の研究を拡張しました。例えば、もう一人の素晴らしいMITの学生、デイビッド・ロルニックと共に、n個の数を掛け算するという単純なタスクには、1層のネットワークでは驚くべきことに2^n個のニューロンが必要ですが、深層ネットワークでは約4n個のニューロンで済むことを示しました。これは、神経ネットワークが現在AI研究者の間で非常に人気がある理由だけでなく、私たちの脳に神経ネットワークが進化した理由も説明するのに役立ちます。もし私たちが未来を予測するために脳を進化させたのであれば、物理的な世界で重要な計算問題に対して優れた計算アーキテクチャを進化させるのは理にかなっています。 神経ネットワークがどのように機能し、計算するかを探求した今、彼らがどのように学習できるかという問いに戻りましょう。具体的には、神経ネットワークはシナプスを更新することでどのように計算能力を向上させるのでしょうか。カナダの心理学者ドナルド・ヘッブは、1949年の著書『行動の組織：神経心理学的理論』の中で、近くにある2つのニューロンが同時に頻繁に活動（「発火」）している場合、それらのシナプス結合が強化され、お互いを引き起こすのを助けるようになると主張しました。この考えは「一緒に発火すれば、一緒に配線される」という人気のスローガンで表現されています。実際の脳がどのように学習するかの詳細はまだ十分に理解されていませんが、研究によってその答えが多くの場合、はるかに複雑であることが示されています。それでも、このシンプルな学習ルール（ヘッブ学習として知られる）によって、神経ネットワークは興味深いことを学ぶことができることも示されています。ジョン・ホップフィールドは、ヘッブ学習によって彼の過度に単純化された人工神経ネットワークが、複雑な記憶をたくさん保存できることを示しました。それは、単にそれらに繰り返しさらされることによって実現されました。このように情報にさらされて学ぶことは、人工神経ネットワーク（または動物や人間がスキルを教えられる場合）に言及する際には通常「トレーニング」と呼ばれますが、「学習」、「教育」、または「経験」と呼ぶことも同様に適切かもしれません。 今日のAIシステムを支える人工ニューラルネットワークは、ヘッブ学習を「バックプロパゲーション」や「確率的勾配降下法」といった難しい名前のより洗練された学習ルールに置き換える傾向がありますが、基本的なアイデアは同じです。すなわち、シナプスが時間とともに更新されるための、物理法則に似た単純な決定論的ルールが存在します。この単純なルールは、膨大なデータでトレーニングを行うことで、ニューラルネットワークが驚くほど複雑な計算を学習できるようにする、まるで魔法のようなものです。私たちはまだ脳が使用している学習ルールを正確には知りませんが、どんな答えであっても、それが物理法則に反する兆候はありません。 ほとんどのデジタルコンピュータが作業を複数のステップに分け、計算モジュールを何度も再利用することで効率を高めるのと同様に、多くの人工および生物学的ニューラルネットワークもそうです。脳には、コンピュータ科学者が「再帰的」と呼ぶ部分があり、情報が一方向だけでなく複数の方向に流れることができます。これにより、現在の出力が次に起こることへの入力となります。ノートパソコンのマイクロプロセッサ内の論理ゲートのネットワークもこの意味で再帰的です。過去の情報を再利用し、キーボードやトラックパッド、カメラなどからの新しい情報が進行中の計算に影響を与え、その結果として画面やスピーカー、プリンター、無線ネットワークなどへの情報出力を決定します。同様に、あなたの脳内のニューロンのネットワークも再帰的であり、目や耳、その他の感覚からの情報入力が進行中の計算に影響を与え、その結果として筋肉への情報出力を決定します。 学習の歴史は、生命の歴史と同じくらい長いものであり、自己複製するすべての生物は、何らかの形で学習された情報のコピーや処理を行っています。しかし、ライフ1.0の時代には、生物は生涯の間に学習することはありませんでした。情報を処理し反応するためのルールは、遺伝子によって決定されていたため、学習は世代を超えたダーウィン進化を通じて、種レベルでゆっくりとしか起こりませんでした。約5億年前、地球上の特定の遺伝子系が神経ネットワークを持つ動物を作り出す方法を発見し、これにより生涯の経験から行動を学習できるようになりました。ライフ2.0が到来し、その学習能力によって競争相手を凌駕し、世界中に急速に広がりました。第1章で探求したように、生命は学習が進化し、ますます速いペースで向上しています。特定の類人猿の種は、知識を獲得するのが非常に得意な脳を発達させ、道具を使い、火を起こし、言語を話し、複雑なグローバル社会を創造する方法を学びました。この社会自体は、記憶し、計算し、学習するシステムと見なすことができ、1つの発明が次の発明を可能にするにつれて、加速するペースで進化しています。書き物、印刷機、現代科学、コンピュータ、インターネットなどがその例です。 未来の歴史家たちは、次にどのような革新的な発明をそのリストに加えるのでしょうか。私の予想では、それは人工知能です。ご存知の通り、コンピュータのメモリと計算能力の爆発的な向上（図2.4および図2.8）は、人工知能の驚異的な進歩につながりましたが、機械学習が成熟するまでには長い時間がかかりました。1997年にIBMのディープブルーがチェスのチャンピオン、ガリー・カスパロフを打ち負かしたとき、その主な強みは記憶力と計算能力にあり、学習能力にはありませんでした。ディープブルーの計算知能は人間のチームによって作り出されたものであり、ディープブルーがその創造者を上回ることができたのは、より早く計算を行い、より多くの可能な局面を分析できたからです。 IBMのワトソンがクイズ番組「ジェパディ！」で人間の世界チャンピオンを打ち負かした際も、学習よりもカスタムプログラムされたスキルや優れた記憶力、速度に依存していました。ロボティクスの初期のブレークスルー、例えば脚を使った移動や自動運転車、自動着陸ロケットについても同様のことが言えます。 対照的に、最近のAIのブレークスルーの多くは機械学習によって推進されています。例えば、図2.11を考えてみてください。あなたがそれが何の写真かを判断するのは簡単ですが、画像のすべてのピクセルの色だけを入力し、「フリスビーをしている若者たちのグループ」といった正確なキャプションを出力する機能をプログラムすることは、数十年にわたり世界中のAI研究者たちが達成できなかったことでした。しかし、2014年にイリヤ・サツケバーが率いるグーグルのチームは、まさにそれを成し遂げました。異なるピクセルの色のセットを入力すると、「乾いた草原を歩く象の群れ」と再び正確に応答します。彼らはどのようにしてこれを実現したのでしょうか？ディープブルーのように、フリスビーや顔を検出するための手作りのアルゴリズムをプログラムしたのでしょうか？いいえ、物理的な世界やその内容についての知識を持たない比較的シンプルなニューラルネットワークを作成し、大量のデータにさらすことで学習させたのです。AIの先駆者であるジェフ・ホーキンスは2004年に「コンピュータは…マウスほどよく見ることができない」と書きましたが、その時代は今や過去のものとなりました。図2.11の「フリスビーをしている若者たちのグループ」というキャプションは、人間やゲーム、フリスビーについての理解を持たないコンピュータによって書かれたものです。私たちが子供たちの学び方を完全には理解していないのと同様に、こうしたニューラルネットワークがどのように学ぶのか、そしてなぜ時々失敗するのかも完全には理解できていません。しかし、明らかなのは、彼らがすでに非常に有用であり、ディープラーニングへの投資が急増していることです。ディープラーニングは、手書きの文字起こしから自動運転車のリアルタイムビデオ分析に至るまで、コンピュータビジョンの多くの側面を変革しました。また、コンピュータが話し言葉をテキストに変換し、他の言語に翻訳する能力も革命的に向上し、リアルタイムで行えるようになりました。これが、私たちが今やSiriやGoogle Now、Cortanaといったパーソナルデジタルアシスタントと会話できる理由です。 面倒なCAPTCHAパズル、つまりウェブサイトに自分が人間であることを証明しなければならないものは、機械学習技術の進化に対応するためにますます難しくなっています。2015年、Google DeepMindは、指示なしで子供のように数十のコンピュータゲームをマスターできる深層学習を用いたAIシステムを発表しましたが、その後すぐに人間よりも上手にプレイすることを学びました。2016年には、同じ会社がAlphaGoという囲碁をプレイするコンピュータシステムを構築し、深層学習を使ってさまざまな盤面の強さを評価し、世界最強の囲碁チャンピオンを打ち負かしました。この進展は好循環を生み出し、AI研究にますます多くの資金と才能を引き寄せ、さらなる進展を生んでいます。この章では、知性の本質とその発展について探求してきました。機械がすべての認知タスクで私たちを超えるまでにどれくらいの時間がかかるのでしょうか？明確にはわかりませんし、その答えが「決してない」となる可能性にも心を開く必要があります。しかし、この章の基本的なメッセージは、それが起こる可能性も考慮する必要があるということです。もしかしたら私たちの生きている間に実現するかもしれません。結局のところ、物質は物理法則に従って配置されると、記憶し、計算し、学習することができ、必ずしも生物的である必要はありません。AI研究者はしばしば過剰な期待を抱かせ、実際には期待に応えられないと批判されますが、公平に言えば、彼らの批評家の中にもあまり良い実績を持たない人がいます。中には、知性をコンピュータがまだできないこと、あるいは私たちを感心させることとして定義し、目標を移動させ続ける人もいます。現在、機械は算数、チェス、数学的定理の証明、株の選定、画像キャプション作成、運転、アーケードゲーム、囲碁、音声合成、音声転写、翻訳、癌診断などにおいて優れた能力を持っていますが、一部の批評家は「確かに、でもそれは本当の知性ではない！」と冷笑するかもしれません。彼らは、実際の知性はモラベックの風景（図2.2）の中でまだ水没していない山頂だけを含むと主張するかもしれません。過去には、画像キャプション作成や囲碁がカウントされるべきだと主張する人もいましたが、水位は上昇し続けていました。水位が少なくとももうしばらく上昇し続けると仮定すると、AIの社会への影響はますます大きくなるでしょう。AIがすべてのタスクで人間レベルに達する前に、私たちはバグ、法律、武器、仕事などに関する魅力的な機会と課題に直面することになります。それらは何で、私たちはどのように最善の準備をすればよいのでしょうか？次の章で探ってみましょう。結論として、複雑な目標を達成する能力として定義される知性は、単一のIQで測定することはできず、すべての目標にわたる能力のスペクトルによってのみ測定されます。今日の人工知能は狭く、それぞれのシステムが非常に特定の目標しか達成できない一方で、人間の知性は驚くほど広範です。 記憶、計算、学習、そして知能は、抽象的で無形、そして空気のような感覚を持っています。なぜなら、これらは基盤に依存しないからです。つまり、基盤となる物質の詳細に依存せず、自らの生命を持つことができるのです。記憶の基盤は、さまざまな安定した状態を持つ物質の塊であれば、どんな物質でも構いません。計算の基盤であるコンピュートロニウムも、特定の普遍的な構成要素を含んでいれば、どんな物質でもなり得ます。NANDゲートやニューロンは、そのような普遍的な「計算の原子」の重要な例です。 ニューラルネットワークは学習のための強力な基盤です。物理法則に従うだけで、自らを再配置し、望ましい計算を実行する能力を向上させることができます。物理法則の驚くべき単純さのために、私たち人間は想像できる計算問題のほんの一部にしか関心を持ちませんが、ニューラルネットワークはそのほんの一部を解決するのが非常に得意です。技術が2倍の力を持つようになると、それを使ってさらに2倍の力を持つ技術を設計・構築することができ、ムーアの法則の精神に従って能力が繰り返し倍増します。情報技術のコストは、約1世紀にわたり、約2年ごとに半分になっており、情報時代を可能にしました。もしAIの進展が続けば、AIがすべてのスキルで人間レベルに達するずっと前に、バグ、法律、武器、仕事といった問題に関する魅力的な機会や課題を私たちに提供するでしょう。これらについては次の章で探求します。 *1 誰かが、オリンピックレベルの運動能力を「運動能力指数（AQ）」という単一の数値で定量化できると主張したら、あなたはどう反応するでしょうか？最高のAQを持つオリンピック選手がすべてのスポーツで金メダルを獲得するという考えを想像してみてください。 *2 一部の人々は「人間レベルのAI」や「強いAI」をAGIの同義語として好みますが、どちらも問題があります。ポケット計算機ですら狭義の人間レベルのAIです。「強いAI」の対義語は「弱いAI」ですが、Deep Blue、Watson、AlphaGoのような狭いAIシステムを「弱い」と呼ぶのは奇妙に感じます。 *3 NANDはNOT ANDの略です。ANDゲートは、最初の入力が1で、2番目の入力も1のときにのみ1を出力しますので、NANDはその正反対の出力をします。 *4 「明確に定義された関数」という用語は、数学者やコンピュータ科学者が「計算可能関数」と呼ぶものを指しています。つまり、無限のメモリと時間を持つ仮想的なコンピュータによって計算可能な関数です。アラン・チューリングとアロンゾ・チャーチは、記述可能だが計算不可能な関数も存在することを有名に証明しました。 *5 数学が好きな方のために、一般的な活性化関数の選択肢として、いわゆるシグモイド関数 o(x) = 1/(1 + e^(-x)) と、ランプ関数 o(x) = max{0, x} が人気ですが、ほぼすべての関数が線形（直線）でない限り適切であることが証明されています。 ホップフィールドの有名なモデルでは、o(x) = -1（x < 0のとき）およびo(x) = 1（x > 0のとき）という関数が使われます。ニューロンの状態がベクトルに保存されている場合、ネットワークはそのベクトルをシナプス結合を格納した行列と掛け算し、すべての要素に関数oを適用することで更新されます。 第3章 近い未来：ブレークスルー、バグ、法律、武器、そして仕事 「私たちがすぐに方向を変えなければ、行く先にたどり着くだけだ。」—アーウィン・コーリー 現代における人間であることの意味とは何でしょうか？たとえば、私たちが自分自身について本当に大切に思っていることは何であり、それが他の生命体や機械と何が違うのでしょうか？他の人々が私たちに対して価値を見出し、その結果として仕事を提供してくれる理由は何でしょうか？これらの質問に対する私たちの答えは、時とともに変わることは明らかです。技術の進展は、徐々にそれらを変えていくに違いありません。 私自身の例を挙げると、科学者として自分の目標を設定し、創造性や直感を使って幅広い未解決の問題に取り組むこと、そして自分の発見を言語で共有することに誇りを持っています。幸運なことに、社会は私にこれを仕事として行うための報酬を支払ってくれています。数世代前であれば、他の多くの人々と同様に、農民や職人としてのアイデンティティを築いていたかもしれませんが、技術の発展により、そうした職業は労働力のごく一部にまで減少しました。つまり、もはや誰もが農業や工芸を中心にアイデンティティを築くことはできなくなったのです。 個人的には、今日の機械が掘削や編み物といった手作業のスキルで私を上回っていることは気にしていません。なぜなら、これらは私の趣味でもなく、収入や自己価値の源でもないからです。実際、私がその点での自分の能力について抱いていた幻想は、8歳のときに学校で編み物の授業を強制され、ほぼ落第しそうになった経験で打ち砕かれました。そのプロジェクトを完成させられたのは、5年生の優しい助け手が私に同情してくれたおかげです。しかし、技術が進化し続ける中で、AIの台頭は、私の現在の自己価値感や職場での価値を提供している能力も超えてしまうのでしょうか？ スチュアート・ラッセルは、彼と多くのAI研究者が最近「なんてこった！」という瞬間を体験したと語ってくれました。それは、彼らがAIが数年後に見るとは思っていなかったことを成し遂げるのを目の当たりにしたときのことです。その精神を受けて、私自身の「なんてこった！」の瞬間をいくつかお話しし、それらが人間の能力がすぐに追い越される前兆であるとどう見ているかをお伝えしたいと思います。 ブレークスルー 深層強化学習エージェント 私が2014年に経験した大きな驚きの一つは、DeepMindのAIシステムがコンピュータゲームを学ぶ様子を収めたビデオを見ていたときのことです。具体的には、そのAIは「ブレイクアウト」というアタリのクラシックゲームをプレイしていました（図3.1参照）。このゲームの目的は、パドルを操作してボールをレンガの壁に何度も跳ね返すことです。レンガに当たるたびに、そのレンガは消え、スコアが増加します。 図3.1：ディープマインドのAIは、アタリのゲーム「ブレイクアウト」をゼロから学び、スコアを最大化するための深層強化学習を用いて、最適な戦略を発見しました。それは、レンガの壁の一番左側に穴を開け、ボールがその後ろで跳ね続けるようにすることで、非常に迅速にポイントを稼ぐというものでした。私はボールとパドルの過去の軌跡を示す矢印を描きました。昔、自分でもいくつかのコンピュータゲームを作ったことがあり、「ブレイクアウト」をプレイできるプログラムを書くのは難しくないことをよく知っていましたが、ディープマインドのチームがやったことはそれとは異なりました。彼らは、このゲームや他のゲーム、さらにはゲーム、パドル、レンガ、ボールといった概念について何も知らない真っ新なAIを作り上げたのです。彼らのAIが知っていたのは、定期的に長い数字のリストが入力されるということだけでした。それは現在のスコアと、私たち（AIではなく）が画面の異なる部分がどのように色付けされているかを認識するための仕様を示す長い数字のリストです。AIには、定期的に出力する数字を使ってスコアを最大化するように指示されましたが、それは私たち（AIではなく）がどのキーを押すべきかを示すコードとして認識するものでした。最初、AIはひどいプレイをしていました。無知なままパドルをランダムに揺らし、ほとんど毎回ボールを逃していました。しかし、しばらくすると、ボールに向かってパドルを動かすのが良いアイデアだと理解し始めたようで、とはいえまだほとんどの時間ボールを逃していました。しかし、練習を重ねるうちに改善し、すぐに私がこれまでに経験したことのないほどゲームが上手くなり、どんなに速くボールが近づいても確実にボールを返すことができるようになりました。そして、私の口は開いたままになりました。AIは、壁の左上隅を狙って穴を開け、ボールが壁の裏とその後ろのバリアの間で跳ね続けるという驚くべきスコア最大化戦略を見つけ出したのです。これは本当に知的な行動のように感じました。実際、ディミス・ハサビスは後に、ディープマインドのプログラマーたちは、このトリックを自分たちが作ったAIから学ぶまで知らなかったと教えてくれました。ぜひ、私が提供したリンクからこの様子を動画で見ることをお勧めします。 このAIには、人間のような特徴があり、少し不安を感じました。私は目の前で目標を持ち、それを達成するためにますます上達していくAIを見ていたのです。最終的にはその創造者を超えてしまいました。前の章では、知性を単に複雑な目標を達成する能力として定義しましたので、この意味では、ディープマインドのAIは目の前でより知的になっていく様子を見ていたことになります（とはいえ、この特定のゲームをプレイするという非常に狭い意味でのことですが）。第一章では、コンピュータ科学者が「知的エージェント」と呼ぶ存在に出会いました。それは、センサーから環境に関する情報を収集し、その情報を処理して環境に対してどのように行動するかを決定するエンティティです。ディープマインドのゲームプレイAIは、レンガ、パドル、ボールから成る非常にシンプルな仮想世界に存在していましたが、私はそれが知的エージェントであることを否定することはできませんでした。 DeepMindはすぐに彼らの手法を発表し、コードを共有しました。その中で、非常にシンプルでありながら強力なアイデアである深層強化学習を使用していることを説明しました。基本的な強化学習は、行動主義心理学に触発された古典的な機械学習技術で、ポジティブな報酬を得ることで再び何かをする傾向が高まるというものです。犬が飼い主からの励ましやおやつを得る可能性が高まるときにトリックを覚えるのと同様に、DeepMindのAIはボールをキャッチするためにパドルを動かすことを学びました。これは、より多くのポイントを得る可能性が高まるからです。DeepMindはこのアイデアを深層学習と組み合わせました。彼らは前の章で説明したように、深層ニューラルネットワークを訓練し、キーボードの各許可されたキーを押すことで平均的に得られるポイント数を予測しました。そして、AIはゲームの現在の状態に基づいてニューラルネットが最も有望だと評価したキーを選択しました。 私が人間としての自己価値感に寄与する特性を挙げたとき、私は幅広い未解決の問題に取り組む能力を含めました。それに対して、ブレイクアウトをプレイすることができるだけでは、非常に狭い知能に過ぎません。私にとって、DeepMindのブレークスルーの真の重要性は、深層強化学習が完全に一般的な技術であるということです。実際、彼らは同じAIに49種類の異なるアタリゲームをプレイさせ、そのうち29種類で人間のテスターを上回るパフォーマンスを発揮しました。ポンからボクシング、ビデオピンボール、スペースインベーダーまで、多岐にわたります。同じAIのアイデアが、2次元ではなく3次元の世界を持つより現代的なゲームでも実証されるのに時間はかかりませんでした。すぐに、DeepMindのサンフランシスコに拠点を置く競合企業OpenAIが、DeepMindのAIや他の知的エージェントがまるでゲームのようにコンピュータ全体と対話する練習ができるプラットフォーム「Universe」を発表しました。何かをクリックしたり、何かを入力したり、ナビゲートできるソフトウェアを開いたり実行したりすることができます。例えば、ウェブブラウザを立ち上げてオンラインで遊ぶことも可能です。 深層強化学習の未来とその改善を見据えると、明確な終わりは見えません。可能性は仮想ゲームの世界に限られていません。ロボットであれば、人生そのものがゲームと見なされることもあります。スチュアート・ラッセルは、彼の最初の大きなハイライトは、ロボット「ビッグドッグ」が雪に覆われた森の斜面を走り上がり、彼自身が長年苦労して解決しようとしていた脚の運動問題を優雅に解決するのを見たことだと教えてくれました。しかし、2008年にそのマイルストーンが達成されたとき、それには賢いプログラマーたちの膨大な労力が必要でした。DeepMindのブレークスルーの後、ロボットが最終的に深層強化学習の何らかの変種を使って、人間のプログラマーの助けなしに自ら歩くことを学ぶことができない理由はありません。必要なのは、進歩するたびにポイントを与えるシステムだけです。 現実世界のロボットも、プログラマーの助けを借りずに泳いだり、飛んだり、卓球をしたり、戦ったり、その他の運動タスクをほぼ無限にこなす能力を持つ可能性があります。学習プロセス中に行き詰まったり、自分自身を傷つけたりするリスクを減らし、学習を加速させるために、彼らは最初の学習段階を仮想現実で行うことが考えられます。 直感、創造性、戦略 私にとってのもう一つの重要な瞬間は、DeepMindのAIシステムAlphaGoが、21世紀初頭に世界最高の囲碁プレイヤーと見なされていた李世ドルとの五番勝負で勝利したときです。人間の囲碁プレイヤーがいつか機械に dethroned（王座を奪われる）されることは広く予想されていましたが、20年前にチェスプレイヤーがそうなったことを考えると、ほとんどの囲碁の専門家はそれにはさらに10年かかるだろうと予測していました。したがって、AlphaGoの勝利は彼らにとっても私にとっても重要な瞬間でした。ニック・ボストロムとレイ・カーツワイルは、AIのブレークスルーを予測することがいかに難しいかを強調しており、これは李世ドル自身のインタビューからも明らかです。彼は最初の3ゲームを失う前と後で次のように述べています： - 2015年10月：「そのレベルを見た限りでは…私は圧倒的に勝つと思います。」 - 2016年2月：「Google DeepMindのAIが驚くほど強くなっていると聞いていますが、今回は少なくとも勝てる自信があります。」 - 2016年3月9日：「負けるとは思っていなかったので、とても驚いています。」 - 2016年3月10日：「言葉を失っています…ショックです。第三局は簡単ではないと認めざるを得ません。」 - 2016年3月12日：「無力感を感じました。」 李世ドルとの対局から1年も経たないうちに、さらに改良されたAlphaGoは、世界のトップ20のプレイヤー全員と対戦し、一度も負けることなく勝利を収めました。なぜこれが私にとってそんなに重要だったのでしょうか？実は、私は直感と創造性を私の核心的な人間の特性と見なしていると前述しましたが、AlphaGoはその両方を示したと感じています。 囲碁プレイヤーは、19×19の盤面に黒と白の石を交互に置いていきます（図3.2参照）。囲碁の局面は、宇宙の原子の数よりもはるかに多くの可能性があり、興味深い未来の手のすべてのシーケンスを分析しようとすると、すぐに絶望的になります。したがって、プレイヤーは意識的な推論を補完するために無意識の直感に大きく依存し、専門家はどの局面が強いか、どの局面が弱いかをほぼ驚異的な感覚で把握します。前の章で見たように、深層学習の結果は時に直感を思い起こさせることがあります。深層ニューラルネットワークは、なぜそうなるのかを説明できなくても、画像が猫を描写していると判断することがあります。DeepMindチームは、深層学習が猫だけでなく、強い囲碁の局面を認識できるかもしれないというアイデアに賭けました。彼らがAlphaGoに組み込んだ核心的なアイデアは、深層学習の直感的な力を結びつけることでした。 GOFAIの論理的な力を活用して、これはユーモラスに「古き良きAI」として知られるもので、ディープラーニング革命の前の時代のものです。彼らは、人間のプレイやAlphaGoが自らのクローンと対戦したゲームからの膨大な囲碁の局面データベースを使用し、各局面から白が最終的に勝つ確率を予測するために深層ニューラルネットワークを訓練しました。また、次の手を予測するための別のネットワークも訓練しました。次に、これらのネットワークをGOFAIの手法と組み合わせ、可能性の高い未来の手のシーケンスのプルーニングリストを巧妙に検索して、将来的に最も強い局面に導く次の手を特定しました。 AlphaGoは、数千年の人間の直感に反して、非常に創造的な手を打ちました。図3.2に示されているように、5線目に打ったこの手は、約50手後に囲碁の伝説である李世ドルを破る上で重要な役割を果たしました。この直感と論理の結びつきは、単に強力な手を生むだけでなく、場合によっては非常に創造的な手を生むことにもつながりました。例えば、囲碁の数千年の知恵では、ゲームの初期には辺から3線目または4線目に打つのが最良とされています。両者の間にはトレードオフがあります。3線目に打つことは、ボードの側面に向けた短期的な領土獲得に役立ち、4線目に打つことは中央に向けた長期的な戦略的影響を助けます。第2局の37手目で、AlphaGoはその古代の知恵に反して5線目に打ち、まるで人間よりも長期的な計画能力に自信を持っているかのようでした。これにより、短期的な利益よりも戦略的な優位性を重視したのです。解説者たちは驚愕し、李世ドルは一時的に席を立ちました。 そして、約50手後、ボードの左下隅での戦いがその37手目の黒石とつながることになりました。このモチーフが最終的にゲームを勝利に導き、AlphaGoの5線目の手は囲碁史上最も創造的な手の一つとしてその名を刻むことになりました。囲碁はその直感的で創造的な側面から、単なるゲーム以上の芸術形式として見なされています。古代中国では、絵画、書道、琴音楽と共に「四つの必須芸術」の一つとされており、アジアでは非常に人気があり、AlphaGoと李世ドルの初戦を約3億人が観戦しました。その結果、囲碁界はその結果に大きく揺さぶられ、AlphaGoの勝利は人類にとっての重要なマイルストーンと見なされました。当時の世界最高ランクの囲碁プレイヤーである柯潔は次のように述べています。「人類は何千年も囲碁を打ってきましたが、AIが示したように、私たちはまだ表面をかすめただけです…人間とコンピュータプレイヤーの結合は新しい時代を切り開くでしょう…人間とAIが共に囲碁の真実を見つけることができるのです。」このような実りある人間と機械の協力は、確かに期待が持てるもののようです。 科学を含む多くの分野で、アルカンが私たち人間の理解を深め、究極の可能性を実現する手助けをしてくれることを期待しています。私にとって、AlphaGoは近い将来に向けてもう一つの重要な教訓を教えてくれます。それは、深層学習の直感とGOFAIの論理を組み合わせることで、比類のない戦略を生み出せるということです。囲碁は究極の戦略ゲームの一つであるため、AIは今や卒業し、ゲームボードを超えて最高の人間の戦略家に挑戦（あるいは助ける）する準備が整っています。たとえば、投資戦略、政治戦略、軍事戦略などです。このような現実の戦略問題は、通常、人間の心理、欠落した情報、ランダムにモデル化する必要がある要素によって複雑化しますが、ポーカーをプレイするAIシステムは、これらの課題が克服できないものではないことをすでに証明しています。 AIの進展が最近私を驚かせたもう一つの分野は言語です。私は幼い頃から旅行に魅了され、他の文化や言語への好奇心が私のアイデンティティの重要な部分を形成しました。スウェーデン語と英語を話す環境で育ち、学校ではドイツ語とスペイン語を学び、二度の結婚を通じてポルトガル語とルーマニア語を習得し、楽しみのためにロシア語、フランス語、そして中国語を独学しました。しかし、AIは私に追いついてきており、2016年の重要な発見以降、私が翻訳できる言語の中で、Googleの脳チームが開発したAIシステムよりも優れた翻訳ができる言語はほとんど残っていません。私の言いたいことは、実際にはこうです：AIは私に追いついてきており、2016年の大きなブレークスルー以降、Googleの脳チームが開発したAIシステムよりも優れた翻訳ができる言語はほとんどありません。 ただし、私は数年前にノートパソコンにインストールしたアプリを使って、最初にスペイン語に翻訳し、再度翻訳しました。2016年に、Googleの脳チームは無料のGoogle翻訳サービスを深層再帰神経ネットワークを使用するようにアップグレードし、古いGOFAIシステムに比べて劇的な改善が見られました。ご覧の通り、「私」という代名詞はスペイン語の迂回中に失われてしまい、残念ながら意味が変わってしまいました。近いけれども、的外れです！しかし、GoogleのAIを擁護するために言うと、私はしばしば解析が難しい不必要に長い文を書くことで批判されることがあり、この例のために私の最も混乱を招く文の一つを選びました。より典型的な文の場合、彼らのAIはしばしば完璧に翻訳します。その結果、リリースされた際にはかなりの反響を呼び、毎日数億人に利用されるほどの役立つものとなりました。さらに、音声からテキスト、テキストから音声への変換における深層学習の最近の進展のおかげで、これらのユーザーは今や一つの言語でスマートフォンに話しかけ、翻訳された結果を聞くことができるようになりました。 自然言語処理は現在、AIの中で最も急速に進化している分野の一つであり、言語が人間にとって非常に重要であるため、さらなる成功は大きな影響を与えると考えています。AIが言語の予測能力を高めるほど、合理的なメールの返信を作成したり、会話を続けたりする能力が向上します。これにより、外部から見ると人間の思考が行われているように見えるかもしれません。ディープラーニングシステムは、著名なチューリングテストをクリアするための第一歩を踏み出しています。このテストでは、機械が人間だと思わせるほどにうまく会話をする必要があります。しかし、言語処理AIはまだ長い道のりがあります。AIに翻訳されてしまうと少し落ち込むこともありますが、今のところAIは自分が何を言っているのかを意味のある形で理解していないことを思い出すと、気分が良くなります。AIは膨大なデータセットで訓練され、単語のパターンや関係を発見しますが、これらの単語を現実世界の何かに関連付けることはありません。例えば、AIは各単語を特定の他の単語との類似性を示す千の数字のリストで表現するかもしれません。そこから「王」と「女王」の違いが「夫」と「妻」の違いに似ていると結論づけることはできますが、男性や女性であることが何を意味するのか、さらには空間、時間、物質を持つ物理的現実が存在することすら理解していません。チューリングテストは本質的に欺瞞に関するものであるため、人間の騙されやすさをテストするものとして批判されることがあります。それに対抗する形で、ウィノグラード・スキーマ・チャレンジというテストは、現在のディープラーニングシステムが欠けている常識的理解に直接迫ります。私たち人間は、文を解析する際に現実の知識を使い、代名詞が何を指しているのかを理解します。例えば、典型的なウィノグラードの問題では、以下の文における「彼ら」が何を指しているのかを問います： 1. 「市議会議員は、暴力を恐れてデモ隊に許可証を拒否した。」 2. 「市議会議員は、暴力を支持しているためデモ隊に許可証を拒否した。」 このような質問に答えるための年次AIコンペティションがあり、AIは依然としてひどい成績を収めています。この具体的な課題、つまり何が何を指しているのかを理解することは、私が上記の例でスペイン語を中国語に置き換えたとき、Google翻訳さえも苦しめました。しかし、2016年の大きな進展以降、AIは私に追いついてきました。Google Brainチームが開発したAIシステムは、ほとんど言語を使わずに翻訳できるようになりました。今、あなたがこの本を読んでいる間に、https://translate.google.comで自分で試してみて、GoogleのAIが改善されているかどうかを確認してみてください！おそらく改善されているでしょう。なぜなら、ディープリカレントニューラルネットワークとGOFAIを組み合わせて、世界モデルを含む言語処理AIを構築するための有望なアプローチが存在するからです。 機会と課題 これらの三つの例は、明らかにサンプルに過ぎません。なぜなら、AIは多くの重要な分野で急速に進展しているからです。さらに、私がこれらの例で挙げたのは二つの企業だけですが、大学や他の企業の競争する研究グループも多くの場合、遅れをとってはいません。世界中のコンピュータサイエンス学部では、Apple、Baidu、DeepMind、Facebook、Google、Microsoftなどが魅力的なオファーを用いて学生やポスドク、教員を引き抜く音が響いています。私が挙げた例に惑わされて、AIの歴史を停滞の時期と時折の突破口で区切るように見るのは重要ではありません。私の視点から見ると、私はむしろ長い間、比較的一定の進展を見てきました。それは、メディアが新しい想像をかき立てるアプリケーションや有用な製品を可能にする閾値を越えたときに突破口として報じるものです。したがって、活発なAIの進展が今後数年間続く可能性が高いと考えています。さらに、前の章で見たように、この進展がAIがほとんどのタスクで人間の能力に匹敵するまで続かない理由は根本的にはありません。これにより、私たちにどのような影響を与えるのかという疑問が生じます。近い将来のAIの進展が、人間であることの意味をどのように変えるのでしょうか？AIが完全に目標、幅広さ、直感、創造性、言語を欠いていると主張するのがますます難しくなっていることがわかります。これらは多くの人が人間であることの中心的な特性だと感じているものです。つまり、近い将来、AGIがすべてのタスクで私たちに匹敵する前に、AIは私たち自身の見方や、AIによって補完されることでできること、AIと競争することで得られる収入に劇的な影響を与える可能性があります。この影響は良いものになるのでしょうか、それとも悪いものになるのでしょうか？近い将来、どのような機会と課題が生じるのでしょうか？私たちが文明について愛するすべては人間の知性の産物ですので、もしそれを人工知能で増幅できるなら、私たちは明らかに生活をさらに良くする可能性を持っています。AIのわずかな進展でも、科学や技術の大きな改善や、事故、病気、不正、戦争、重労働、貧困の減少につながるかもしれません。しかし、AIの利点を享受しながら新たな問題を生み出さないためには、多くの重要な質問に答える必要があります。例えば： 1. 未来のAIシステムを今日のものよりも堅牢にし、クラッシュや誤動作、ハッキングなしに私たちが望むことを実行させるにはどうすればよいでしょうか？ 2. 急速に変化するデジタル環境に対応し、公正かつ効率的な法制度をどのように更新すればよいでしょうか？ 3. 無人兵器の制御が効かない軍拡競争を引き起こすことなく、武器をより賢く、無実の市民を殺す可能性を減らすにはどうすればよいでしょうか？ 4. 自動化を通じて繁栄をどのように育み、人々が収入や目的を欠くことがないようにすればよいでしょうか？ この章の残りの部分を使って、これらの質問を一つずつ探求していきましょう。これらの四つの近い将来の質問は主に、 コンピュータ科学者、法学者、軍事戦略家、経済学者がそれぞれ関与しています。しかし、私たちが必要な答えを必要な時に得るためには、誰もがこの会話に参加する必要があります。なぜなら、見ての通り、課題は専門分野や国境を超えて広がっているからです。 バグと堅牢なAI 情報技術は、科学から金融、製造、輸送、医療、エネルギー、通信に至るまで、私たちの人間活動のほぼすべての分野において大きなポジティブな影響を与えてきましたが、この影響はAIがもたらす進歩に比べれば微々たるものです。しかし、私たちが技術に依存するほど、それが堅牢で信頼できるものであることがますます重要になってきます。つまり、私たちが望むことを確実に実行する必要があるのです。人類の歴史を通じて、私たちは技術を有益に保つための同じ信頼できるアプローチを用いてきました。それは、失敗から学ぶことです。私たちは火を発明し、何度も失敗し、そして消火器、避難口、火災警報器、消防署を発明しました。自動車を発明し、何度も事故を起こし、そしてシートベルト、エアバッグ、自動運転車を発明しました。これまでのところ、私たちの技術は通常、事故が十分に少なく限られていたため、その害は利益を上回ることはありませんでした。しかし、私たちがますます強力な技術を開発し続ける中で、いずれはたった一つの事故がすべての利益を上回るほどの壊滅的な影響を及ぼす時が来るでしょう。ある人々は、偶発的な世界的核戦争がそのような例になると主張しています。他の人々は、バイオエンジニアリングによるパンデミックが該当する可能性があると主張しており、次の章では、未来のAIが人類の絶滅を引き起こす可能性についての論争を探ります。しかし、私たちはそのような極端な例を考慮しなくても、重要な結論に達することができます。それは、技術がますます強力になるにつれて、安全工学において試行錯誤のアプローチに依存すべきではないということです。言い換えれば、私たちは反応的ではなく、より積極的になるべきであり、事故が一度も起こらないようにするための安全研究に投資すべきです。これが、社会がマウストラップの安全よりも原子炉の安全に多く投資する理由です。また、第一章で見たように、プエルトリコの会議でAIの安全研究に対する強い関心があったのもこのためです。コンピュータやAIシステムは常にクラッシュしてきましたが、今回は異なります。AIは徐々に現実の世界に入りつつあり、電力網や株式市場、核兵器システムがクラッシュすることは単なる迷惑では済まされません。このセクションの残りでは、現在のAI安全に関する議論を支配している4つの主要な技術的AI安全研究分野、すなわち検証、妥当性確認、セキュリティ、制御について紹介したいと思います。「あまりにも専門的で退屈にならないように、過去の情報技術の成功と失敗を探り、それらから学べる貴重な教訓や研究上の課題を考察する形で進めていきましょう。」 これらの物語のほとんどは古く、ほとんど誰もAIとは呼ばないような低技術のコンピュータシステムに関するもので、ほとんど被害をもたらすことはありませんでしたが、それでも私たちは、将来のAIシステムの安全で強力な設計に関する貴重な教訓を得ることができることを見ていきます。AIと宇宙探査について、私の心に近いテーマから始めましょう。コンピュータ技術のおかげで、人類は月に人を送り、無人宇宙船を使って太陽系のすべての惑星を探査し、土星の衛星タイタンや彗星に着陸させることができました。第6章で詳しく探るように、将来のAIは他の太陽系や銀河を探査する手助けをしてくれるかもしれません—ただし、バグがない場合に限ります。 1996年6月4日、地球の磁気圏を研究しようとする科学者たちは、欧州宇宙機関のアリアン5ロケットが彼らが作った科学機器を搭載して空に飛び立つのを見て歓声を上げました。しかし、37秒後、彼らの笑顔は消え、ロケットは数億ドルの損失を伴う花火のような爆発を起こしました。原因は、割り当てられた16ビットに収まらないほど大きな数を操作していたバグのあるソフトウェアでした。2年後、NASAの火星気候探査機は、異なる部分のソフトウェアが異なる単位を使用していたため、赤い惑星の大気に誤って突入し、崩壊しました。これにより、ロケットエンジンの推力制御に445%の誤差が生じました。これはNASAにとって2度目の超高額なバグでした。1962年7月22日、ケープカナベラルから打ち上げられたマリナー1号の金星探査ミッションは、飛行制御ソフトウェアが誤った句読点によって妨害され、打ち上げ後に爆発しました。西洋諸国だけが宇宙にバグを送り込む技術を持っているわけではないことを示すかのように、1988年9月2日にソビエトのフォボス1号ミッションも失敗しました。これは、火星の衛星フォボスに着陸機を展開するという壮大な目標を持った、史上最も重い惑星間宇宙船でしたが、欠落したハイフンが「ミッション終了」コマンドを宇宙船に送信し、すべてのシステムが停止してしまいました。 これらの例から私たちが学ぶことは、コンピュータ科学者が「検証」と呼ぶ重要性です。これは、ソフトウェアが期待されるすべての要件を完全に満たしていることを確認することです。人命や資源がかかっているほど、ソフトウェアが意図した通りに機能するという信頼性が高く求められます。幸いなことに、AIは検証プロセスを自動化し、改善する手助けをすることができます。たとえば、seL4という完全な汎用オペレーティングシステムのカーネルは、最近、正式な仕様に対して数学的にチェックされ、クラッシュや安全でない操作に対する強力な保証を提供しています。Microsoft WindowsやMac OSのような華やかな機能はまだありませんが、「ブルースクリーン・オブ・デス」や「スピニングホイール・オブ・ドゥーム」と呼ばれる現象を引き起こすことはないと安心できます。アメリカ国防高等研究計画局（DARPA）もこの分野での研究を進めています。 国防高等研究計画局（DARPA）は、証明可能に安全なオープンソースの高信頼性ツールセット「HACMS（高信頼性サイバー軍事システム）」の開発を支援しています。重要な課題は、これらのツールを十分に強力で使いやすくし、広く普及させることです。また、ソフトウェアがロボットや新しい環境に移行するにつれて、検証作業自体がますます難しくなるという課題もあります。従来の事前プログラムされたソフトウェアが、学習を続けるAIシステムに置き換わることで、行動が変化することも影響しています。 金融分野も情報技術によって大きく変革され、資源が地球規模で効率的に再配分され、住宅ローンからスタートアップ企業まで、あらゆるものに対して手頃な資金調達が可能になっています。AIの進展は、金融取引において大きな将来の利益機会を提供する可能性があります。現在、株式市場での売買決定のほとんどは自動的にコンピュータによって行われており、MITを卒業した私の学生たちは、アルゴリズム取引を改善するために天文学的な初任給の誘惑にさらされています。金融ソフトウェアにとっても検証は重要であり、アメリカの企業ナイトキャピタルは、2012年8月1日に未検証の取引ソフトウェアを展開した結果、45分で4億4000万ドルを失うという厳しい教訓を得ました。また、2010年5月6日の1兆ドル規模の「フラッシュクラッシュ」は、別の理由で注目されました。市場が安定するまでの約30分間に大規模な混乱を引き起こし、プロクター・アンド・ギャンブルなどの著名企業の株価が1セントから10万ドルまで変動しましたが、この問題は検証によって回避できたバグやコンピュータの故障によって引き起こされたものではありませんでした。むしろ、期待が裏切られたことが原因でした。多くの企業の自動取引プログラムは、株式取引所のコンピュータが株価を1セントと報告した場合、その株が本当に1セントの価値があるという前提が無効であるという予期しない状況で動作していました。このフラッシュクラッシュは、コンピュータ科学者が「検証」と呼ぶ重要性を示しています。検証が「システムを正しく構築したか？」と問うのに対し、検証は「正しいシステムを構築したか？」と問います。たとえば、そのシステムが常に有効であるとは限らない前提に依存している場合、どのように不確実性に対処できるように改善できるでしょうか。 製造業におけるAIの可能性は言うまでもなく、効率と精度を高めるロボットを制御することで製造を改善する大きな潜在能力を秘めています。ますます進化する3Dプリンターは、オフィスビルから塩の粒よりも小さな微小機械デバイスまで、あらゆるもののプロトタイプを作成できるようになっています。巨大な産業用ロボットが自動車や飛行機を製造する一方で、手頃な価格のコンシューマ向けロボットも登場しています。 コンピュータ制御のミル、旋盤、カッターなどは、工場だけでなく、世界中の1,000以上の地域運営の「ファブラボ」で地元の愛好者たちがアイデアを具現化する「メイカームーブメント」をも支えています。しかし、周囲にロボットが増えるにつれて、そのソフトウェアを検証し、確認することがますます重要になっています。ロボットによって初めて命を奪われた人物は、ミシガン州フラットロックのフォード工場で働いていたロバート・ウィリアムズです。1979年、部品を保管エリアから取り出すはずのロボットが故障し、彼は自ら部品を取りにそのエリアに入ったところ、ロボットが静かに作動を始め、彼の頭を叩きつけました。その後、30分間も続き、同僚が何が起こったのかを発見するまで止まりませんでした。次のロボットの犠牲者は、日本の神戸にある川崎重工のメンテナンスエンジニア、浦田健二です。1981年、壊れたロボットの作業中に誤ってスイッチを入れてしまい、ロボットの油圧アームに押しつぶされて亡くなりました。2015年には、ドイツのバウナタールにあるフォルクスワーゲンの生産工場で、22歳の契約社員が自動車部品をつかんで操作するロボットの設置作業をしている最中に何かがうまくいかず、ロボットに捕まって金属板に押しつぶされて亡くなりました。 これらの事故は悲劇的ですが、全ての産業事故の中ではごくわずかな割合を占めていることに注意することが重要です。さらに、技術の向上に伴い、産業事故は増加するどころか減少しており、1970年の約14,000件の死亡から2014年には4,821件に減少しています。上記の3件の事故は、無知な機械に知能を加えることで、ロボットが人間の周りでより注意深く行動することを学ぶことで、産業安全をさらに向上させることができることを示しています。これらの事故は、バグや悪意によるものではなく、無効な仮定（人がいない、または人が自動車部品であるという仮定）によって引き起こされたものであり、より良い検証があれば回避できたはずです。 従来の産業用ロボットは高価でプログラミングが難しいのに対し、プログラミング経験のない作業者から学ぶことができる安価なAI搭載のロボットが増えてきています。 AIは製造業で多くの命を救うことができますが、交通分野ではさらに多くの命を救う可能性があります。2015年だけで自動車事故は120万人以上の命を奪い、航空機、列車、船舶の事故も合わせてさらに何千人もの命が失われました。アメリカでは、高い安全基準にもかかわらず、昨年の自動車事故で約35,000人が亡くなり、これは全ての産業事故を合わせた数の7倍に相当します。2016年にテキサス州オースティンで開催された人工知能の進歩を促進する協会の年次総会でこの件についてパネルディスカッションを行った際、イスラエルのコンピュータ科学者モシェ・ヴァルディは非常に感情的になり、AIが交通事故による死亡者を減らすだけでなく、必ずそうすべきだと主張しました。「それは道徳的な義務です！」と彼は叫びました。 ほとんどすべての交通事故が人間のエラーによって引き起こされるため、AIを搭載した自動運転車が少なくとも90％の道路死亡事故を減少させることができると広く信じられています。この楽観的な見方は、自動運転車を実際に道路に出すための大きな進展を促しています。イーロン・マスクは、将来の自動運転車はより安全であるだけでなく、必要ないときにはオーナーのために収益を上げることができると考えています。これは、ウーバーやリフトと競争することによって実現されるでしょう。これまでのところ、自動運転車は確かに人間のドライバーよりも安全性の記録が良く、発生した事故は検証の重要性と難しさを浮き彫りにしています。グーグルの自動運転車による最初の軽微な事故は、2016年2月14日に発生しました。この事故は、バスの運転手が車が前に出たときに譲るだろうという誤った仮定に基づいていました。自動運転テスラによる最初の致命的な事故は、2016年5月7日に高速道路を横切るトラックのトレーラーに衝突したもので、これは2つの誤った仮定によって引き起こされました。1つは、トレーラーの明るい白い側面が単に明るい空の一部であるというもので、もう1つは、運転手（ハリー・ポッターの映画を見ていたとされる）が注意を払っており、何か問題があれば介入するだろうというものでした。しかし、時には良好な検証と確認だけでは事故を避けることはできません。なぜなら、私たちは良好な制御も必要だからです。つまり、人間のオペレーターがシステムを監視し、必要に応じてその挙動を変更できる能力です。このような「人間が介在するシステム」がうまく機能するためには、人間と機械のコミュニケーションが効果的であることが重要です。この観点から、ダッシュボードの赤いランプは、車のトランクを開けたままにしてしまった場合に便利に警告してくれます。一方、1987年3月6日にイギリスのフェリー「ヘラルド・オブ・フリー・エンタープライズ」がゼーブルッヘの港を出港する際に船首の扉を開けたまま出発したとき、船長に対する警告灯や他の目に見える警告はなく、フェリーは港を出た直後に転覆し、193人が亡くなりました。 また、2009年6月1日の夜にエールフランス447便が大西洋に墜落し、搭乗していた228人全員が亡くなった事故も、より良い機械と人間のコミュニケーションによって回避できたかもしれない悲劇的な制御の失敗です。公式の事故報告書によれば、「乗組員は自分たちが失速していることを理解せず、その結果、回復操作を行うことはありませんでした」—これは航空機の鼻を下げることを含むものでした—が、手遅れになるまで行われませんでした。航空安全の専門家たちは、コックピットに「迎角」インジケーターがあれば、パイロットに鼻が上向きすぎていることを示し、墜落を回避できたかもしれないと推測しています。 1992年1月20日にエア・インター148便がフランスのストラスブール近くのヴォージュ山脈に墜落し、87人が亡くなった原因は、機械と人間のコミュニケーションの欠如ではなく、混乱を招くユーザーインターフェースでした。 パイロットたちは、3.3度の角度で降下したいと考え、キーパッドに「33」と入力しましたが、自動操縦装置はこれを毎分3,300フィートの降下速度として解釈しました。これは異なるモードにあったためで、表示画面が小さすぎてモードを示すことができず、パイロットたちは自分たちの誤りに気づくことができませんでした。 エネルギー分野におけるAI 情報技術は、電力の生成と配分において驚異的な進歩を遂げており、洗練されたアルゴリズムが世界中の電力網で生産と消費のバランスを取っています。また、洗練された制御システムが発電所を安全かつ効率的に運営しています。今後のAIの進展により、「スマートグリッド」はさらに賢くなり、個々の屋根上の太陽光パネルや家庭用バッテリーシステムのレベルまで、変化する供給と需要に最適に適応できるようになるでしょう。しかし、2003年8月14日木曜日、アメリカとカナダの約5500万人が停電に見舞われ、その多くは数日間電力を失ったままでした。ここでも、主な原因は機械と人間のコミュニケーションの失敗とされました。オハイオ州の制御室でのソフトウェアのバグが、オペレーターに電力の再配分が必要であることを警告するアラームシステムの作動を妨げ、軽微な問題（過負荷の送電線が手入れされていない樹木に接触すること）が制御を超えて連鎖的に悪化しました。 1979年3月28日にペンシルベニア州のスリーマイル島で発生した部分的な原子炉のメルトダウンは、約10億ドルの清掃費用をもたらし、原子力発電に対する大きな反発を引き起こしました。最終的な事故報告書では、複数の要因が特定され、その中には不十分なユーザーインターフェースによる混乱が含まれていました。特に、オペレーターたちが安全に重要なバルブが開いているか閉じているかを示す警告灯だと思っていたものは、単にバルブを閉じる信号が送信されたかどうかを示すものであり、オペレーターたちはバルブが開いたまま動かなくなっていることに気づきませんでした。 これらのエネルギーと交通の事故は、AIがますます多くの物理システムを担当するようになる中で、機械が単独でうまく機能するだけでなく、人間の制御者と効果的に協力できるようにするために、真剣な研究努力を注ぐ必要があることを教えてくれます。AIが賢くなるにつれて、これは情報共有のための良好なユーザーインターフェースを構築するだけでなく、人間とコンピュータのチーム内でタスクを最適に割り当てる方法を見つけることも含まれます。たとえば、制御を移譲すべき状況を特定し、重要でない情報の洪水で人間の制御者を混乱させるのではなく、最も価値の高い意思決定に人間の判断を効率的に適用することです。 医療分野におけるAI AIは医療の改善に大きな可能性を秘めています。医療記録のデジタル化により、医師と患者はより迅速かつ良い判断を下すことができ、世界中の専門家からデジタル画像の診断に関する即時の支援を受けることができるようになりました。実際、コンピュータビジョンや深層学習の急速な進展を考えると、こうした診断を行うための最良の専門家はAIシステムになるかもしれません。 例えば、2015年のオランダの研究では、磁気共鳴画像法（MRI）を用いた前立腺癌のコンピュータ診断が人間の放射線科医と同等の精度であることが示されました。また、2016年のスタンフォード大学の研究では、AIが顕微鏡画像を用いて肺癌を人間の病理医よりも優れた精度で診断できることが示されました。もし機械学習が遺伝子、病気、治療反応の関係を明らかにするのに役立つなら、個別化医療を革命的に変え、農畜産物をより健康にし、より強靭な作物を育てることができるでしょう。さらに、ロボットは高度なAIを使用しなくても、人間よりも正確で信頼できる外科医になる可能性があります。近年、さまざまなロボット手術が成功裏に行われており、精密さや小型化、より小さな切開を可能にし、出血量の減少、痛みの軽減、回復時間の短縮につながっています。しかし、医療業界でも堅牢なソフトウェアの重要性について痛ましい教訓がありました。例えば、カナダ製のTherac-25放射線治療機は、癌患者を低出力の電子ビームまたは高出力のメガボルトX線ビームの2つの異なるモードで治療するように設計されていましたが、未検証のバグのあるソフトウェアが原因で、技術者が低出力ビームを投与していると思い込んでメガボルトビームを照射してしまい、シールドなしで行われたために数名の患者が命を落としました。また、2000年と2001年には、パナマの国立腫瘍学研究所で放射線治療機器が過剰な被曝時間にプログラムされていたため、さらに多くの患者が放射線過剰投与で亡くなりました。これは、適切に検証されていない混乱したユーザーインターフェースが原因でした。最近の報告によると、2000年から2013年の間にアメリカ合衆国でロボット手術の事故が144件の死亡と1,391件の負傷に関連していることが明らかになりました。一般的な問題には、電気アークや焼損したり壊れた器具の破片が患者に落ちるといったハードウェアの問題だけでなく、制御されない動きや自発的な電源オフといったソフトウェアの問題も含まれています。良いニュースは、報告に含まれるほぼ200万件のロボット手術の大半が順調に行われており、ロボットが手術をより安全にしているように見えることです。アメリカ政府の研究によれば、悪い病院のケアはアメリカだけで年間10万人以上の死亡に寄与しているため、医療用のより良いAIを開発する道徳的な必要性は自動運転車に対するそれよりもさらに強いと言えるでしょう。 コミュニケーションのためのAI コミュニケーション産業は、これまでのところコンピュータが最も大きな影響を与えた分野であると言えるでしょう。コンピュータ化された電話交換機が導入された後、 1950年代にはインターネットが登場し、1960年代にはさらに進化を遂げ、1989年にはワールドワイドウェブが誕生しました。現在、数十億人がオンラインでコミュニケーションを取り、買い物をし、ニュースを読み、映画を観たりゲームをしたりしています。彼らは世界中の情報がワンクリックで手に入ることに慣れており、その多くは無料で利用できます。新たに登場した「モノのインターネット」は、ランプやサーモスタット、冷凍庫から農場の動物に取り付けられたバイオチップトランスポンダーまで、あらゆるものをオンラインにすることで、効率性、正確性、便利さ、そして経済的利益をもたらすことを約束しています。 このように世界をつなぐ壮大な成功は、コンピュータ科学者たちに新たな課題をもたらしました。それは、検証、妥当性確認、制御だけでなく、悪意のあるソフトウェア（「マルウェア」）やハッキングに対するセキュリティの向上も求められるということです。前述の問題はすべて意図しないミスから生じたものでしたが、セキュリティは故意の不正行為に対処するものです。最初に大きなメディアの注目を集めたマルウェアは、1988年11月2日に放たれた「モリスワーム」で、UNIXオペレーティングシステムのバグを利用しました。これは、オンラインに接続されているコンピュータの数を数えようとした誤った試みとされており、当時のインターネットを構成していた60,000台のコンピュータの約10%に感染し、クラッシュさせましたが、その創造者であるロバート・モリスは最終的にMITでコンピュータサイエンスの終身教授職を得ることになりました。 他のマルウェアは、ソフトウェアではなく人間の脆弱性を突くものです。2000年5月5日、私の誕生日を祝うかのように、人々は「ILOVEYOU」という件名のメールを知人や同僚から受け取りました。そして、添付ファイル「LOVE-LETTER-FOR-YOU.txt.vbs」をクリックしたMicrosoft Windowsユーザーは、知らず知らずのうちにコンピュータを損傷させ、アドレス帳に登録されている全員にそのメールを再送信するスクリプトを起動してしまいました。このワームはフィリピンの二人の若いプログラマーによって作成され、モリスワームと同様にインターネットの約10%に感染しましたが、その頃にはインターネットがはるかに大きくなっていたため、5000万台以上のコンピュータに影響を及ぼし、50億ドル以上の損害を引き起こす史上最大の感染の一つとなりました。 ご存じの通り、インターネットは無数の感染性マルウェアに侵され続けており、セキュリティ専門家はそれをワーム、トロイの木馬、ウイルスなどの恐ろしい響きのカテゴリに分類しています。これらが引き起こす損害は、無害ないたずらメッセージの表示から、ファイルの削除、個人情報の盗難、監視、コンピュータのハイジャックによるスパム送信まで多岐にわたります。マルウェアが攻撃できるコンピュータをターゲットにするのに対し、ハッカーは特定の興味のあるターゲットを攻撃します。最近の高プロファイルな例としては、ターゲット、TJマックス、ソニー・ピクチャーズ、アシュリー・マディソン、サウジアラビアの石油会社アラムコ、そしてアメリカ合衆国民主党全国委員会などがあります。さらに、盗まれる情報はますます壮大になっています。2008年にはハートランド・ペイメント・システムから1億3000万件のクレジットカード番号やその他のアカウント情報が盗まれ、2013年には10億件以上のYahoo!メールアカウントが侵害されました。 政府の人事管理局は、2100万人以上の人々の人事記録や求人情報を漏洩させたとされています。これには、最高機密のクリアランスを持つ従業員や、潜入捜査官の指紋が含まれている可能性があります。そのため、私は新しいシステムが「100%安全でハッキング不可能」とされるのを読むたびに、つい目を転がしてしまいます。しかし、「ハッキング不可能」であることは、将来のAIシステムにとって必要不可欠な条件です。たとえば、重要なインフラや武器システムを任せる前に、そうでなければなりません。AIの社会における役割が増すにつれて、コンピュータセキュリティの重要性も高まっています。 一部のハッキングは、人間の甘さや新しくリリースされたソフトウェアの複雑な脆弱性を利用しますが、他のものは、長い間気づかれずに残っていた単純なバグを利用して、リモートコンピュータへの不正ログインを可能にします。「Heartbleed」バグは、2012年から2014年まで、コンピュータ間の安全な通信のための最も人気のあるソフトウェアライブラリの一つに存在していました。また、「Bashdoor」バグは、1989年から2014年までUnixコンピュータのオペレーティングシステムに組み込まれていました。これにより、AIツールが検証とバリデーションを改善することでセキュリティも向上することが期待されます。しかし、より優れたAIシステムは、新たな脆弱性を見つけたり、より高度なハッキングを行うためにも利用される可能性があります。 たとえば、ある日、あなたが非常に個別化された「フィッシング」メールを受け取り、個人情報を開示するように説得されると想像してみてください。それは、あなたの友人のアカウントから送信され、AIによってハッキングされ、彼女になりすましています。彼女の他の送信メールを分析して彼女の文体を模倣し、他の情報源から得たあなたに関する多くの個人情報を含んでいます。あなたはこれに引っかかるかもしれません。もしフィッシングメールがあなたのクレジットカード会社から送られ、親しげな人間の声でフォローアップの電話がかかってきたら、あなたはそれがAI生成のものであると気づかないかもしれません。攻撃と防御の間のコンピュータセキュリティの軍拡競争において、防御が勝っている兆しは今のところほとんど見られません。 私たち人間は、協力する能力のおかげで他のすべての種を征服し、地球を支配した社会的動物です。私たちは協力を促進し、奨励するための法律を発展させてきました。もしAIが私たちの法制度やガバナンスシステムを改善できるなら、私たちはこれまで以上に成功裏に協力できるようになり、私たちの最良の部分を引き出すことができるでしょう。ここには改善の余地がたくさんあります。法律がどのように適用され、どのように書かれているかの両方において、順に探ってみましょう。あなたの国の裁判制度について考えると、最初に思い浮かぶのは何ですか？長い遅延、高いコスト、時折の不正義でしょうか？それなら、あなたは一人ではありません。「効率」と「公平」という言葉が最初に思い浮かぶとしたら、素晴らしいことではないでしょうか。法的プロセスは抽象的なものになりがちですが、 計算として捉えられる法的判断は、証拠や法律に関する情報を入力し、決定を出力するものです。一部の学者は、ロボジャッジ（AIシステム）がこのプロセスを完全に自動化することを夢見ています。ロボジャッジは、偏見や疲労、最新の知識の欠如といった人間のエラーに屈することなく、すべての判断に対して同じ高い法的基準を疲れ知らずに適用することができます。例えば、バイロン・デ・ラ・ベックウィス・ジュニアは、1963年に公民権指導者メドガー・エヴァースを暗殺したとして1994年に有罪判決を受けましたが、殺人の翌年には2つの全白人のミシシッピ州陪審が彼を有罪にしませんでした。物理的証拠は基本的に同じだったにもかかわらずです。残念ながら、法的歴史は肌の色、性別、性的指向、宗教、国籍などの要因によって偏った判断に満ちています。ロボジャッジは、原則として、歴史上初めてすべての人が法の下で真に平等になることを保証することができます。彼らはすべて同一にプログラムされ、誰に対しても平等に扱い、法を透明に適用することができるのです。また、ロボジャッジは意図的ではない偶発的な人間の偏見を排除することも可能です。例えば、2012年のイスラエルの裁判官に関する論争のある研究では、彼らが空腹の時に厳しい判決を下す傾向があると主張されています。朝食後には約35%の仮釈放申請を却下したのに対し、昼食前には85%以上を却下したというのです。人間の裁判官のもう一つの欠点は、事件のすべての詳細を十分に探る時間がないことです。それに対して、ロボジャッジはソフトウェアに過ぎないため、簡単にコピーでき、すべての未処理の事件を並行して処理することが可能です。各事件には、それぞれのロボジャッジが必要なだけ割り当てられます。最後に、人間の裁判官がすべての技術的知識を習得することは不可能ですが、将来のロボジャッジは本質的に無限の記憶と学習能力を持つかもしれません。したがって、いつの日か、ロボジャッジは偏見がなく、有能で透明性があるため、より効率的で公正なものになるかもしれません。その効率性は、法的プロセスを迅速化し、巧妙な弁護士が結果を歪めることを難しくすることで、さらに公正さを増します。これにより、資金が限られた個人やスタートアップ企業が、億万長者や多国籍企業に勝つ可能性が大いに高まるでしょう。一方で、ロボジャッジにバグがあったり、ハッキングされたりすることはないのでしょうか？自動投票機もすでにその影響を受けており、数年の懲役や数百万ドルの資産がかかっている場合、サイバー攻撃のインセンティブはさらに大きくなります。AIがロボジャッジが法定アルゴリズムを使用していると信頼できるほど堅牢に作られたとしても、すべての人がその論理的推論を理解し、その判断を尊重できると感じるでしょうか？ この課題は、最近のニューラルネットワークの成功によってさらに悪化しています。ニューラルネットワークは、しばしば従来の理解しやすいAIアルゴリズムよりも優れた性能を発揮しますが、その代償として不可解さを伴います。被告がなぜ有罪判決を受けたのかを知りたい場合、「大量のデータでシステムを訓練した結果、こうなった」というよりも良い答えを得る権利があるべきではないでしょうか。さらに、最近の研究では、膨大な量の受刑者データを用いて深層学習システムを訓練すると、誰が再犯する可能性が高いか（したがって仮釈放を拒否すべきか）を人間の裁判官よりも正確に予測できることが示されています。しかし、このシステムが再犯率が受刑者の性別や人種と統計的に関連していると判断した場合、それは再プログラムが必要な性差別的・人種差別的なロボ裁判官と見なされるのでしょうか。実際、2016年の研究では、アメリカ全土で使用されている再犯予測ソフトウェアがアフリカ系アメリカ人に対して偏見を持っており、不公平な判決に寄与していると主張されています。これらは、AIが有益であり続けるために私たち全員が考え、議論する必要がある重要な問題です。私たちはロボ裁判官に関する全か無かの決断を迫られているわけではなく、むしろ法制度におけるAIの導入の程度と速度についての決断をしているのです。私たちは、明日の医師のように人間の裁判官にAIに基づく意思決定支援システムを持たせたいのでしょうか？それとも、ロボ裁判官の判断が人間の裁判官に上訴できるようにしたいのでしょうか？あるいは、死刑に関しても最終的な決定権を機械に委ねるべきでしょうか？ 法的な論争 これまで私たちは法律の適用について探求してきましたが、今度はその内容に目を向けましょう。私たちの法律は技術の進歩に合わせて進化する必要があるという広範な合意があります。例えば、前述のILOVEYOUワームを作成し、数十億ドルの損害を引き起こした二人のプログラマーは、フィリピンにはマルウェアの作成に対する法律が存在しなかったため、すべての罪を無罪とされて自由の身となりました。技術の進歩のペースが加速しているように見えるため、法律はますます迅速に更新される必要があり、遅れがちです。より多くの技術に精通した人々を法科大学院や政府に入れることは、社会にとって賢明な選択かもしれません。しかし、投票者や立法者のためのAIに基づく意思決定支援システムが導入され、その後にロボ立法者が登場するべきでしょうか？AIの進展を反映するために法律をどのように変更するのが最善かは、非常に興味深く論争のあるテーマです。一つの論争は、プライバシーと情報の自由の間の緊張を反映しています。自由を支持する人々は、プライバシーが少なくなるほど、裁判所が持つ証拠が増え、判断が公正になると主張します。例えば、政府がすべての人の電子デバイスを傍受して、彼らの位置や入力、クリック、発言、行動を記録すれば、多くの犯罪が容易に解決され、さらなる犯罪を防ぐことができるでしょう。プライバシー擁護者は、オーウェル的な監視国家を望んでいないと反論し、たとえ望んだとしても、リスクが伴うことを指摘します。 それは壮大な規模の全体主義的独裁政権に変わっていく可能性があります。さらに、機械学習技術は、fMRIスキャナーからの脳データを分析する能力が向上し、人が何を考えているのか、特に真実を語っているのか嘘をついているのかを判断することができるようになっています。もしAI支援の脳スキャン技術が法廷で一般的になれば、現在の事実確認の煩雑なプロセスが劇的に簡素化され、迅速な裁判と公正な判断が可能になるでしょう。しかし、プライバシー擁護者は、こうしたシステムが時折間違いを犯すのではないか、そしてもっと根本的には、私たちの心が政府の監視から守られるべきではないかと懸念するかもしれません。思想の自由を支持しない政府は、このような技術を利用して特定の信念や意見を犯罪化することができるでしょう。正義とプライバシー、社会を守ることと個人の自由を守ることの間に、どこで線を引くべきでしょうか？どこで線を引いても、証拠が偽造しやすくなる事実を補うために、プライバシーが徐々に減少していくことになるのでしょうか？例えば、AIがあなたが犯罪を犯しているリアルな偽の動画を生成できるようになった場合、政府が常に全員の居場所を追跡し、必要に応じて確実なアリバイを提供するシステムを支持しますか？ もう一つの興味深い論争は、AI研究を規制すべきかどうか、あるいは一般的に政策立案者がAI研究者にどのようなインセンティブを与えるべきかということです。一部のAI研究者は、AI開発のあらゆる形態の規制に反対し、それが緊急に必要な革新（例えば、命を救う自動運転車）を不必要に遅らせ、最先端のAI研究を地下に追いやるか、より寛容な政府を持つ他国に移転させると主張しています。第一章で言及されたプエルトリコの有益なAI会議で、イーロン・マスクは、今私たちが政府に求めているのは監視ではなく洞察であると主張しました。具体的には、AIの進展を監視し、必要に応じてその方向性を導くことができる技術的に有能な人々が政府のポジションにいることです。また、政府の規制が進展を抑制するのではなく、むしろ育むことがあるとも主張しました。例えば、自動運転車の安全基準が自動運転車の事故を減少させることができれば、公共の反発が少なくなり、新技術の採用が加速される可能性があります。最も安全意識の高いAI企業は、したがって、規制を支持するかもしれません。それは、倫理的でない競合他社に自社の高い安全基準に合わせることを強いるものです。 さらに興味深い法的論争は、機械に権利を与えることに関するものです。もし自動運転車がアメリカで年間32,000件の交通死亡事故を半減させることができれば、自動車メーカーは16,000通の感謝状を受け取るのではなく、16,000件の訴訟を受け取ることになるかもしれません。では、自動運転車が事故を引き起こした場合、誰が責任を負うべきでしょうか—その車の乗員、所有者、それとも製造者でしょうか？ 法学者デイビッド・ヴラデックは、第四の答えを提案しています。それは、車そのものです！具体的には、彼は自動運転車が車両保険を持つことを許可され、さらには義務付けられるべきだと提案しています。これにより、安全性の高いモデルは非常に低い保険料を適用されることになり、おそらく人間のドライバーに提供される保険料よりも低くなるでしょう。一方で、設計が不十分なモデルは、所有するには非常に高額な保険しか適用されないことになります。しかし、車のような機械が保険を持つことを許可されるなら、彼らはお金や財産を所有することもできるべきでしょうか？もしそうなら、賢いコンピュータが株式市場でお金を稼ぎ、それを使ってオンラインサービスを購入することを法的に妨げるものは何もありません。コンピュータが人間に働いてもらうためにお金を支払うようになれば、彼らは人間ができることは何でも達成できるようになります。もしAIシステムが最終的に人間よりも投資が得意になるなら（すでにいくつかの分野ではそうなっています）、私たちの経済の大部分が機械に所有され、支配される状況が生まれるかもしれません。これが私たちの望む未来でしょうか？もしこれが遠い未来の話に思えるなら、私たちの経済の大部分がすでに別の形の非人間的存在、つまり企業によって所有されていることを考えてみてください。企業はしばしばその内部のどの個人よりも強力で、ある程度は自らの存在を持つことができます。もし機械に財産を所有する権利を与えることに問題がないのであれば、彼らに投票権を与えることについてはどうでしょうか？もしそうなら、各コンピュータプログラムに一票を与えるべきでしょうか？それが可能であれば、富裕なプログラムは自分自身のトリリオンのコピーをクラウド上に作成し、すべての選挙を決定することを保証することになります。そうでないなら、私たちはなぜ機械の知性に対して人間の知性と比べて差別をしているのでしょうか？機械の知性が私たちと同じように主観的な経験を持つ意識を持っている場合、それは重要な違いになるのでしょうか？次の章では、私たちの世界を制御するコンピュータに関連するこれらの物議を醸す質問についてより深く探求し、機械の意識に関する質問は第8章で扱います。 武器 古代から、人類は飢饉、病気、戦争に苦しんできました。AIが飢饉や病気を減少させる可能性についてはすでに触れましたが、戦争についてはどうでしょうか？一部の人々は、核兵器がそれを所有する国々の間で戦争を抑止する理由は、その恐ろしさにあると主張しています。それなら、すべての国がさらに恐ろしいAIベースの武器を開発することを許可し、すべての戦争を永遠に終わらせることを期待するのはどうでしょうか？その議論に納得できない場合、未来の戦争は避けられないと信じるなら、AIを使ってこれらの戦争をより人道的にするのはどうでしょうか？もし戦争が単に機械同士の戦いであれば、人間の兵士や民間人が犠牲になる必要はありません。さらに、将来のAI駆動のドローンやその他の自律型武器システム（AWS; 反対派からは「キラーロボット」と呼ばれています）は、人間の兵士よりも公平で合理的に作られることが期待されます。超人的なセンサーを備え、死を恐れない彼らは、 戦闘の最中でも冷静で計算高く、理性的でいられる可能性があり、民間人を誤って殺してしまうリスクが低くなるかもしれません。図3.4：現在の軍用ドローン（例えば、米空軍のMQ-1プレデター）は人間がリモートコントロールしていますが、将来のAI搭載ドローンは人間をそのプロセスから外し、アルゴリズムを用いて標的を決定し攻撃する可能性があります。 **人間の介在** しかし、自動化されたシステムにバグがあったり、混乱を招いたり、期待通りに動作しなかった場合はどうなるのでしょうか？米国のファランクスシステムは、イージス級巡洋艦に搭載され、対艦ミサイルや航空機などの脅威を自動で検出、追跡、攻撃します。USSヴィンセンスはそのイージスシステムを指して「ロボクルーザー」と呼ばれた誘導ミサイル巡洋艦で、1988年7月3日、イラン・イラク戦争中にイランの小型艦艇との小競り合いの最中、レーダーシステムが接近する航空機を警告しました。キャプテン・ウィリアム・ロジャースIIIは、彼らがイランのF-14戦闘機による攻撃を受けていると推測し、イージスシステムに発射の承認を与えました。しかし、彼がその時気づいていなかったのは、彼らがイラン航空655便という民間の旅客機を撃墜してしまったことです。この事件で乗客290人全員が死亡し、国際的な怒りを引き起こしました。後の調査では、レーダースクリーン上の点がどれが民間機であるか（655便は通常の飛行ルートを飛行し、民間機用のトランスポンダーを作動させていました）や、どれが降下中（攻撃のため）で、どれが上昇中（655便はテヘランからの離陸後に上昇していました）であるかを自動的に表示しない混乱したユーザーインターフェースが問題であったことが明らかになりました。代わりに、自動化されたシステムが謎の航空機についての情報を尋ねられた際、異なる航空機の状況を混乱して再割り当てした番号を使用して「降下中」と報告しました。降下していたのは、オマーン湾で遠くにいる米国の水上戦闘機でした。この例では、最終的な決定を下す人間が介在しており、時間に追われて自動化されたシステムの情報を過信してしまいました。これまでのところ、世界中の防衛当局によれば、展開されているすべての武器システムには人間が介在しており、地雷のような低技術の罠を除いています。しかし、完全に自律的に標的を選び攻撃する武器の開発が進行中です。すべての人間をプロセスから外してスピードを得ることは軍事的に魅力的です。完全に自律的なドローンが即座に反応できるのに対し、遠く離れた人間によってリモートコントロールされているドローンがより鈍く反応する場合、どちらが勝つと思いますか？しかし、我々が非常に幸運だった事例もあり、その時には人間が介在していました。1962年10月27日、キューバ危機の際、11隻の米海軍駆逐艦と空母USSランドルフがキューバ近海の国際水域でソビエトの潜水艦B-59を追い詰めました。 彼らが知らなかったのは、潜水艦のバッテリーが切れかけて空調が停止したため、艦内の温度が45°C（113°F）を超えて上昇していたことだった。二酸化炭素中毒の危険にさらされ、多くの乗組員が気を失っていた。乗組員は数日間モスクワと連絡が取れず、第三次世界大戦がすでに始まっているのかどうかもわからなかった。その時、アメリカ軍が小型の深度爆弾を投下し始めた。乗組員には知らされていなかったが、これは潜水艦を浮上させて退去させるためのものであるとモスクワに伝えられていた。「私たちは思ったんです—これで終わりだ、と」と乗組員のV.P.オルロフは回想する。「まるで金属の樽の中に座っているようで、誰かが常にハンマーで叩いているような感じでした。」アメリカ軍が知らなかったのは、B-59の乗組員がモスクワの許可なしに発射できる核魚雷を持っていたことだった。実際、サヴィツキー艦長は核魚雷を発射することを決定した。魚雷士官のバレンチン・グリゴリエヴィチは叫んだ。「私たちは死ぬだろうが、全員を沈める—私たちの海軍を恥じることはない！」幸運なことに、発射の決定は艦内の三人の士官の承認が必要で、そのうちの一人、ヴァシリー・アルヒポフが「ノー」と言った。アルヒポフの名前を知っている人は非常に少ないが、彼の決断が第三次世界大戦を回避し、現代史における人類への最も貴重な貢献の一つであった可能性があることは考えさせられる。また、もしB-59が人間の介入なしに自律的に動作するAI制御の潜水艦だったら、何が起こっていたのかを考えると恐ろしい。20年後の1983年9月9日、超大国間の緊張は再び高まっていた。ソ連はアメリカのレーガン大統領によって「悪の帝国」と呼ばれ、前の週には、領空に侵入した韓国航空の旅客機を撃墜し、269人が死亡した—その中にはアメリカの議員も含まれていた。今度は、自動化されたソ連の早期警戒システムが、アメリカがソ連に向けて5発の地上発射型核ミサイルを発射したと報告し、スタニスラフ・ペトロフ士官は、これが誤報かどうかを判断するための時間がわずか数分しかなかった。衛星は正常に作動していることが確認されたため、手順に従えば、彼は核攻撃の到来を報告することになっていた。しかし、彼は直感を信じ、アメリカがたった5発のミサイルで攻撃することは考えにくいと判断し、誤報であると上司に報告した。後に、衛星が雲の上の太陽の反射をロケットエンジンの炎と誤認したことが明らかになった。もしペトロフが適切な手順を正しく守るAIシステムに置き換えられていたら、何が起こっていたのだろうか。次の軍拡競争？おそらくあなたはもう気づいているでしょうが、私は自律型武器システムについて深刻な懸念を抱いています。しかし、私の主な懸念についてはまだ話し始めたばかりです。それはAI武器の軍拡競争の終着点です。 2015年7月、私はスチュアート・ラッセルと共に、未来の生命研究所の同僚たちからの有益なフィードバックを受けて、以下の公開書簡でこの懸念を表明しました。 **自律型武器：AIおよびロボティクス研究者からの公開書簡** 自律型武器は、人間の介入なしに標的を選択し、攻撃します。例えば、特定の事前定義された基準を満たす人々を探し出して排除することができる武装したクアドコプターが含まれるかもしれませんが、人間がすべての標的決定を行う巡航ミサイルや遠隔操縦ドローンは含まれません。人工知能（AI）技術は、こうしたシステムの展開が法的にはともかく、実質的には数年以内に可能になる段階に達しており、そのリスクは非常に高いです。自律型武器は、火薬や核兵器に次ぐ戦争の第三の革命と表現されています。自律型武器に賛成する意見や反対する意見が数多くあります。例えば、機械が人間の兵士に取って代わることで所有者の犠牲者を減らすことができる一方で、戦闘に踏み切るハードルが下がるため悪いという意見があります。今日の人類にとっての重要な問いは、グローバルなAI軍拡競争を始めるべきか、それともそれを防ぐべきかということです。もしどの主要な軍事大国がAI武器の開発を進めれば、グローバルな軍拡競争はほぼ避けられず、この技術の進展の最終的な結果は明らかです：自律型武器は明日のカラシニコフになるでしょう。核兵器とは異なり、これらは高価で入手困難な原材料を必要としないため、すべての主要な軍事大国が大量生産することが容易になります。ブラックマーケットやテロリスト、国民をよりよく管理しようとする独裁者、民族浄化を企てる軍閥の手に渡るのは時間の問題です。自律型武器は、暗殺、国家の不安定化、人口の抑圧、特定の民族グループの選択的殺害などの任務に理想的です。したがって、私たちは軍事AI軍拡競争が人類にとって有益ではないと考えています。AIは、人々を殺すための新しい道具を作ることなく、特に民間人にとって戦場をより安全にする多くの方法があります。ほとんどの化学者や生物学者が化学兵器や生物兵器の開発に興味を持たないのと同様に、ほとんどのAI研究者もAI兵器の開発には興味がなく、他の人々がその分野を汚すことを望んでいません。それは、AIに対する大規模な公的反発を引き起こし、将来の社会的利益を制限する可能性があります。実際、化学者や生物学者は、化学兵器や生物兵器を成功裏に禁止する国際的合意を広く支持しており、ほとんどの物理学者も宇宙ベースの核兵器やブラインディングレーザー兵器を禁止する条約を支持しています。私たちの懸念が単なる平和主義者の意見として片付けられないようにするために、できるだけ多くのハードコアなAI研究者やロボティクス専門家に私たちの書簡に署名してもらいたいと考えました。 国際ロボット兵器管理キャンペーンは、以前に数百人の署名者を集め、殺人ロボットの禁止を求めていました。私は、さらに多くの支持を得られるのではないかと考えました。専門的な組織は、政治的と解釈される可能性のある目的のために、自分たちの大規模な会員メールリストを共有することに消極的であることを知っていたため、私はオンラインの文書から研究者の名前や所属機関のリストを集め、MTurk（アマゾンのクラウドソーシングプラットフォーム）で彼らのメールアドレスを見つける作業を広告しました。ほとんどの研究者は大学のウェブサイトにメールアドレスを掲載しており、24時間後、54ドルを支払った結果、私は人工知能（AI）研究の分野で成功を収め、人工知能の進歩のための協会（AAAI）のフェローに選ばれた数百人の研究者のメールリストを手に入れました。その中には、イギリスとオーストラリアのAI教授トビー・ウォルシュが含まれており、彼はリストに載っている他の研究者全員にメールを送り、私たちのキャンペーンを先導する手助けを快く引き受けてくれました。MTurkの作業者たちは世界中で追加のメールリストを作成し、間もなく3,000人以上のAI研究者やロボティクス研究者が私たちの公開書簡に署名しました。その中には、過去のAAAI会長やGoogle、Facebook、Microsoft、TeslaのAI業界のリーダーたちも含まれています。FLIのボランティアたちは、ビル・クリントンやサラ・コナーのような偽のエントリーを削除しながら、署名者リストの検証に尽力しました。さらに17,000人以上が署名し、スティーブン・ホーキングもその中に含まれていました。トビーが国際人工知能合同会議でこの件に関する記者会見を開催した後、これは世界中の主要なニュースとなりました。生物学者や化学者がかつて立ち上がったおかげで、彼らの分野は現在、主に有益な医薬品や材料を生み出すことで知られるようになりました。AIとロボティクスのコミュニティも声を上げました。署名者たちは、自らの分野が人々を殺す新たな手段を生み出すのではなく、より良い未来を創造することで知られることを望んでいました。しかし、AIの将来的な主な利用は民間用途になるのでしょうか、それとも軍事用途になるのでしょうか。この章では前者に多くのページを費やしましたが、軍事AIの軍拡競争が始まれば、後者にもっと多くの資金が投入されるかもしれません。2016年の民間AIへの投資は10億ドルを超えましたが、これはペンタゴンが発表した2017年度のAI関連プロジェクトに対する1215億ドルの予算要求に比べると微々たるものであり、中国やロシアはロバート・ワーク副国防長官がこの発表をした際に言ったことに注目するでしょう。「私は競争相手に、黒いカーテンの向こうに何があるのかを考えさせたい。」国際条約は必要なのでしょうか？現在、殺人ロボット禁止に向けた国際的な動きが進んでいますが、何が起こるかはまだ不明であり、何が起こるべきかについて活発な議論が続いています。 多くの主要な利害関係者が、世界の大国がAWS（自律型武器システム）の研究と使用を指導するための国際規制を策定すべきだと合意している一方で、具体的に何を禁止すべきか、またその禁止をどのように実施するかについては意見が分かれています。たとえば、致死性の自律型武器だけを禁止すべきなのか、それとも人を重傷にする可能性のある武器、たとえば失明させるような武器も禁止すべきなのか？開発、製造、所有の禁止はどうなるのか？すべての自律型武器システムに禁止を適用すべきなのか、それとも私たちの手紙に書かれているように攻撃的なものだけに限定し、防御的なシステム、たとえば自律型対空砲やミサイル防衛システムは許可すべきなのか？後者の場合、自律型武器が敵の領土に簡単に移動できる場合でも、防御的と見なされるべきなのか？さらに、自律型武器のほとんどの部品が民間用途でも使用できるため、条約をどのように施行するのかという問題もあります。たとえば、Amazonの荷物を配達できるドローンと爆弾を配達できるドローンの違いはあまりありません。一部の論者は、効果的な自律型武器に関する条約を設計するのは非常に困難であり、したがって試みるべきではないと主張しています。一方で、ジョン・F・ケネディは月面ミッションの発表時に、成功が人類の未来に大きな利益をもたらす場合には困難なことに挑戦する価値があると強調しました。さらに、多くの専門家は、生物兵器や化学兵器の禁止が施行が難しく、重大な不正があったにもかかわらず、禁止がその使用を制限する深刻なスティグマを引き起こしたため、価値があったと主張しています。私は2016年の夕食イベントでヘンリー・キッシンジャーに会い、生物兵器禁止における彼の役割について尋ねる機会を得ました。彼は、当時アメリカの国家安全保障顧問だった頃、ニクソン大統領を説得して禁止がアメリカの国家安全保障にとって良いものであると納得させた経緯を説明しました。92歳とは思えないほど彼の頭脳と記憶が鋭いことに感銘を受け、彼の内部的な視点を聞くことに魅了されました。アメリカはすでにその従来型および核兵器の力によって超大国の地位を享受していたため、結果が不確実な世界的な生物兵器の軍拡競争からは、得るものより失うものの方が多かったのです。言い換えれば、すでにトップの立場にいるなら、「壊れていないものは修理するな」という格言に従うのが理にかなっています。スチュアート・ラッセルが私たちの夕食後の会話に加わり、致死性自律型武器についても同じ議論ができることについて話し合いました。軍拡競争から最も利益を得るのは超大国ではなく、小さな無法国家やテロリストなどの非国家主体であり、彼らは開発された武器をブラックマーケットを通じて入手します。一度大量生産されれば、小型のAI搭載の殺人ドローンはスマートフォンとほとんど変わらない価格で手に入るでしょう。政治家を暗殺したいテロリストや、元恋人に復讐したい失恋した恋人が必要とするのは、ターゲットの写真と住所を殺人ドローンにアップロードすることだけです。そうすれば、ドローンは目的地に飛び、対象を特定して排除し、誰が責任を負ったのかを隠すために自己破壊します。 あるいは、民族浄化を目指す者たちにとっては、特定の肌の色や民族の人々だけを狙って殺すようにプログラムすることも容易です。スチュアートは、こうした武器が賢くなるほど、1人を殺すのに必要な物資、火力、そしてお金が少なくなると考えています。例えば、彼は、バンブルビーサイズのドローンが、最小限の爆発力で人の目を狙って安価に殺すことを恐れています。目は柔らかいため、小さな弾丸でも脳に達することができるからです。また、金属の爪で頭にしがみつき、小型の成形炸薬で頭蓋骨を貫通することも考えられます。もし、1台のトラックの後ろから100万機もの殺人ドローンを発進させることができれば、特定のカテゴリーの人々だけを選択的に殺し、他のすべてを無傷のまま残すという新たな種類の大量破壊兵器が誕生することになります。一般的な反論として、敵の兵士だけを殺すように倫理的な殺人ロボットを作ることで、こうした懸念を解消できるという意見があります。しかし、禁止を強制することに懸念があるなら、敵の自律兵器が100%倫理的であることを要求することを強制する方が、そもそもそれらが生産されないようにすることよりも簡単だと言えるのでしょうか？また、文明国の訓練を受けた兵士たちが戦争のルールに従うのが非常に下手で、ロボットの方が優れていると主張しながら、同時に、ならず者国家や独裁者、テロリストグループが戦争のルールに従うのが非常に得意で、決してロボットをルールに反する形で使用することはないと主張することは、一貫性があるのでしょうか？ サイバー戦争 アリスのもう一つの興味深い軍事的側面は、サイバー戦争を通じて、自分自身の武器を作らずに敵を攻撃できる可能性があることです。未来がもたらすかもしれないことの小さな前触れとして、米国とイスラエル政府に広く帰属されるスタックスネットワームが、イランの核濃縮プログラムの高速回転する遠心分離機に感染し、それらを自壊させた事例があります。社会がますます自動化され、攻撃するAIが強力になるほど、サイバー戦争はより壊滅的なものになるでしょう。もし、敵の自動運転車、オートパイロットの飛行機、原子炉、産業用ロボット、通信システム、金融システム、電力網をハッキングしてクラッシュさせることができれば、彼の経済を効果的に崩壊させ、防御を無力化することができます。もし、彼の武器システムの一部もハッキングできれば、さらに良いでしょう。この章は、AIが人類に利益をもたらす近い将来の機会がいかに素晴らしいかを調査することから始まりました—それを堅牢でハッキング不可能にすることができればの話ですが。AI自体は、AIシステムをより堅牢にし、サイバー戦争の防御を助けるために利用できますが、明らかに攻撃にも役立つことができます。防御が勝利することを確保することは、AI開発における最も重要な短期的目標の一つでなければなりません—さもなければ、私たちが構築する素晴らしい技術が私たちに対して向けられることになってしまいます！ 仕事と賃金 これまでのところ、この章では、AIが消費者としての私たちにどのように影響を与えるか、変革的な新製品やサービスを可能にすることに焦点を当ててきました。 手頃な価格で提供される。しかし、労働者として私たちにどのように影響を与え、雇用市場を変革するのだろうか？もし自動化を通じて人々が収入や目的を失うことなく繁栄を育む方法を見つけることができれば、望むすべての人にとって、余暇と前例のない豊かさに満ちた素晴らしい未来を創造する可能性がある。経済学者のエリック・ブリンヨルフソンは、この問題について長い間真剣に考えてきた数少ない人々の一人であり、私のMITの同僚でもある。彼はいつも身だしなみが整っていて完璧に服装を整えているが、アイスランドの血を引いており、時々彼が最近まで野生の赤いバイキングのひげと髪を整えて、私たちのビジネススクールに溶け込むために切り揃えたのではないかと想像してしまう。彼の野生のアイデアは決して削がれていない。彼は自らの楽観的な雇用市場のビジョンを「デジタルアテネ」と呼んでいる。 古代アテネの市民が余暇を楽しみ、民主主義や芸術、ゲームを楽しむことができた理由は、主に彼らが多くの仕事をする奴隷を持っていたからだ。しかし、なぜ奴隷をAI駆動のロボットに置き換え、誰もが楽しめるデジタルユートピアを創造しないのだろうか？エリックのAI駆動経済は、ストレスや単調な作業を排除し、今日私たちが望むものの豊富さを生み出すだけでなく、今日の消費者がまだ気づいていない素晴らしい新製品やサービスの豊富さも提供するだろう。 技術と不平等 私たちは、全員の時給が年々増加し、余暇を求める人々が徐々に働く時間を減らしながら生活水準を向上させ続けることができれば、エリックのデジタルアテネに到達することができる。図3.5は、第二次世界大戦から1970年代中頃までのアメリカで実際に起こったことを示している。収入の不平等はあったものの、全体のパイのサイズが成長し、ほとんどの人がより大きなスライスを得ることができた。しかし、エリックが最初に認めるように、何かが変わった。図3.5は、経済が成長し平均収入が上昇し続けたにもかかわらず、過去40年間の利益が最も裕福な人々、主に上位1%に集中し、最も貧しい90%は収入が停滞したことを示している。この結果としての不平等の成長は、収入ではなく富を見ればさらに明らかになる。2012年のアメリカの下位90%の世帯の平均純資産は約85,000ドルで、25年前と同じだったのに対し、上位1%はその期間中にインフレ調整後の富を2倍以上に増やし、1400万ドルに達した。国際的には、2013年に世界の人口の下位半分（36億人以上）の合計富が、世界の8人の最も裕福な人々の富と同じであるという極端な違いがある。この統計は、底辺の貧困と脆弱性を浮き彫りにするだけでなく、頂点の富も強調している。2015年のプエルトリコ会議で、エリックは集まったAI研究者たちに、AIと自動化の進展が経済のパイを大きくし続けると考えているが、すべての人、あるいはほとんどの人が利益を得るわけではないという経済法則は存在しないと語った。 経済学者たちの間では不平等が増加していることについて広く合意がありますが、その理由やこの傾向が続くかどうかについては興味深い論争があります。政治的スペクトルの左側にいる論者たちは、主な原因はグローバリゼーションや富裕層への減税などの経済政策であると主張することが多いです。しかし、エリック・ブリンジョルフソンと彼のMITの共同研究者アンドリュー・マカフィーは、主な原因は別のものであると主張しています。それはテクノロジーです。具体的には、彼らはデジタル技術が不平等を三つの異なる方法で引き起こしていると述べています。 第一に、古い仕事をより多くのスキルを必要とする仕事に置き換えることで、テクノロジーは教育を受けた人々に報酬を与えています。1970年代中頃以降、大学院の学位を持つ人々の給与は約25%上昇した一方で、高校を中退した人々は30%の給与カットを受けました。 第二に、彼らは2000年以降、企業収入のますます大きな割合が企業の所有者に渡り、そこで働く人々には行き渡らなくなっていると主張しています。そして、自動化が続く限り、機械を所有する人々がますます大きな分け前を得ることが予想されるとしています。この資本が労働に対して持つ優位性は、特に成長するデジタル経済において重要であるかもしれません。テクノロジーの先見者ニコラス・ネグロポンテは、デジタル経済を「原子ではなくビットを動かす」と定義しています。今や書籍から映画、税務準備ツールに至るまで、すべてがデジタル化されており、追加のコピーはほぼゼロコストで世界中に販売でき、追加の従業員を雇う必要がありません。これにより、ほとんどの収益が労働者ではなく投資家に渡ることが可能になり、1990年のデトロイトの「ビッグ3」（GM、フォード、クライスラー）の合計収益が2014年のシリコンバレーの「ビッグ3」（グーグル、アップル、フェイスブック）とほぼ同じであったにもかかわらず、後者が従業員数が9分の1で、株式市場での価値が30倍も高かった理由を説明する手助けとなります。 図3.5：過去100年間の経済成長と、平均所得がどのように異なるグループに分配されているか。1970年代以前は、富裕層と貧困層が共に豊かになっている様子が見られますが、その後はほとんどの利益が上位1%に集中し、下位90%は平均してほとんど何も得られなくなっています。金額は2017年のドルにインフレ調整されています。さらに、エリックとその共同研究者たちは、デジタル経済がしばしばスーパースターに利益をもたらし、他の人々にはあまり恩恵を与えないと主張しています。『ハリー・ポッター』の著者J.K.ローリングは、億万長者クラブに初めて参加した作家であり、彼女の物語はテキスト、映画、ゲームの形で数十億人に非常に低コストで伝達できるため、シェイクスピアよりもはるかに裕福になりました。同様に、スコット・クックはTurboTaxという税務ソフトウェアで10億ドルを稼ぎました。これは人間の税務準備者とは異なり、ダウンロードとして販売できるためです。ほとんどの人が10番目に良い税務ソフトウェアに対してほとんどお金を払う意欲がないため、市場には限られた数のスーパースターしか存在できません。つまり、世界中の親が子供たちに次のJ.K.ローリング、ジゼル・ブンチェン、マット・デイモン、クリスティアーノ・ロナウド、オプラ・ウィンフリー、エロン・マスクになるよう勧めても、ほとんどの子供たちはそれを実現可能なキャリア戦略とは考えないでしょう。 子供たちへのキャリアアドバイス では、私たちは子供たちにどのようなキャリアアドバイスをすべきでしょうか？私は自分の子供たちに、機械が現在苦手としている職業に進むよう勧めています。これらの職業は、近い将来に自動化される可能性が低いと思われるからです。さまざまな仕事が機械に取って代わられる時期に関する最近の予測では、キャリアを決定する前に考慮すべきいくつかの有用な質問が挙げられています。例えば： - 人と対話し、社会的知性を使うことが必要ですか？ - 創造性や巧妙な解決策を考え出すことが求められますか？ - 予測不可能な環境で働くことが必要ですか？ これらの質問に「はい」と答えられる数が多いほど、キャリアの選択肢は良いものになる可能性が高いです。比較的安全な選択肢としては、教師、看護師、医師、歯科医、科学者、起業家、プログラマー、エンジニア、弁護士、ソーシャルワーカー、宗教者、アーティスト、美容師、マッサージセラピストなどが含まれます。一方で、高度に反復的または構造化された行動を必要とし、予測可能な環境で行われる仕事は、自動化されるまで長くは続かないでしょう。コンピュータや産業用ロボットは、こうした最も単純な仕事をすでに長い間奪っており、技術の進歩はテレマーケター、倉庫作業員、レジ係、列車運転手、パン職人、ラインクックなど、多くの職業を排除する過程にあります。トラック、バス、タクシー、UberやLyftの車両の運転手も、近い将来に同様の運命を辿る可能性が高いです。 多くの職業（パラリーガル、クレジットアナリスト、ローンオフィサー、簿記係、税理士など）が、完全に消滅する危険にはさらされていないものの、ほとんどの業務が自動化されることで、必要とされる人間の数が大幅に減少しています。しかし、自動化から逃れることだけがキャリアの課題ではありません。このグローバルなデジタル時代において、プロの作家、映画製作者、俳優、アスリート、ファッションデザイナーを目指すことは、別の理由でリスクがあります。これらの職業は、すぐに機械からの深刻な競争にさらされることはありませんが、前述のスーパースター理論によれば、世界中の他の人間からの競争がますます厳しくなり、成功する人は非常に少なくなるでしょう。 多くの場合、全体の分野に対してキャリアアドバイスをするのは短絡的で粗雑です。完全に消滅することはないが、多くの業務が自動化される職業がたくさんあります。たとえば、医療の分野に進む場合、医療画像を分析してIBMのWatsonに取って代わられる放射線科医ではなく、放射線分析を依頼し、結果を患者と話し合い、治療計画を決定する医師になるべきです。金融の分野に進む場合、データにアルゴリズムを適用してソフトウェアに取って代わられる「クオンツ」ではなく、定量分析の結果を用いて戦略的な投資判断を行うファンドマネージャーになるべきです。法律の分野に進む場合、発見段階で何千もの文書をレビューして自動化されるパラリーガルではなく、クライアントに助言し、法廷でケースを提示する弁護士になるべきです。 これまで、AIの時代において個人が職場で成功するためにできることを探ってきましたが、政府は労働力の成功を支援するために何ができるでしょうか？たとえば、AIが急速に進化する職場に人々を最もよく準備させる教育システムは何でしょうか？現在のモデル、つまり1～2十年の教育を受けた後に4十年の専門的な仕事をするのが最適でしょうか？それとも、数年間働いた後に1年間学校に戻り、さらに数年間働くシステムに切り替える方が良いでしょうか？あるいは、継続教育（おそらくオンラインで提供されるもの）がすべての仕事の標準的な一部であるべきでしょうか？そして、良い新しい仕事を創出するために最も役立つ経済政策は何でしょうか？アンドリュー・マカフィーは、研究、教育、インフラへの大規模な投資、移住の促進、起業家精神の奨励など、多くの政策が役立つ可能性があると主張しています。彼は「エコノミクス101の教科書は明確だが、実行されていない」と感じており、少なくともアメリカではそうだと言っています。 人間は最終的に雇用されなくなるのでしょうか？AIが進化し続け、ますます多くの仕事を自動化する場合、何が起こるのでしょうか？多くの人々は楽観的で、自動化された仕事は新しい、より良い仕事に置き換わると主張しています。結局のところ、それは常に以前から起こってきたことであり、産業革命の際にラッダイトたちが技術的失業を心配していた時から続いています。 しかし、他の人々は仕事に対して悲観的であり、今回は状況が異なると主張しています。彼らは、ますます多くの人々が失業するだけでなく、雇用されることもできなくなると考えています。仕事の悲観主義者たちは、自由市場が給与を需給に基づいて設定し、安価な機械労働の供給が増えることで、人間の給与が生活費を大きく下回るようになると主張しています。仕事の市場給与は、最も安価にその仕事を行うことができる人や物の時間当たりのコストであるため、特定の職業を低所得国や安価な機械にアウトソーシングできるようになると、歴史的に給与は下がってきました。産業革命の時代には、私たちは筋肉を機械で置き換える方法を見出し、人々はより高い給与を得られる、より頭を使う仕事に移行しました。ブルーカラーの仕事はホワイトカラーの仕事に取って代わられました。今、私たちは徐々に機械によって私たちの思考を置き換える方法を見つけつつあります。もしこれに成功すれば、私たちにはどんな仕事が残るのでしょうか？一部の仕事楽観主義者は、身体的および精神的な仕事の後、次のブームは創造的な仕事になると主張していますが、仕事の悲観主義者は、創造性もまた一つの精神的プロセスに過ぎず、最終的にはAIに習得されるだろうと反論します。別の仕事楽観主義者たちは、次のブームはまだ考えられていない新しい技術を活用した職業になると期待しています。実際、産業革命の時代に、彼らの子孫がウェブデザイナーやウーバーの運転手として働くことになるとは誰が想像したでしょうか？しかし、仕事の悲観主義者は、これは実証データに乏しい願望的な考えだと反論します。彼らは、コンピュータ革命の前に、同じ議論をすることができたはずであり、今日の職業のほとんどが新しく、以前は想像もされなかった技術を活用した職業になると予測できたと指摘します。この予測は大きな失敗に終わったでしょう。図3.6に示されているように、今日の職業の大多数は100年前にすでに存在していたものであり、提供される仕事の数で並べると、21位まで行かなければ新しい職業に出会うことはありません。それはソフトウェア開発者であり、彼らはアメリカの労働市場の1%未満を占めています。私たちは第2章を思い出すことで、何が起こっているのかをよりよく理解できます。この章では、人間の知能の風景が示されており、標高は機械がさまざまなタスクを実行するのがどれほど難しいかを表し、上昇する海面は機械が現在できることを示しています。仕事市場の主なトレンドは、私たちが全く新しい職業に移行しているわけではありません。むしろ、私たちは図2.2に示された、まだ技術の上昇潮に沈んでいない地形の部分に押し込まれているのです！図3.6は、これが単一の島ではなく、機械が人間と同じように安価にできない貴重なことに対応する小島や環礁からなる複雑な群島を形成していることを示しています。 これには、ソフトウェア開発のようなハイテク職業だけでなく、マッサージセラピーや演技など、私たちの優れた器用さや社会的スキルを活かすさまざまなローテクの仕事も含まれます。AIが知的なタスクで私たちをあまりにも迅速に超えてしまい、最後に残る仕事がそのローテクのカテゴリーに属することになるのでしょうか？最近、友人が冗談で「最後の職業は最初の職業、つまり売春になるかもしれない」と言っていました。しかし、彼がこれを日本のロボット工学者に話すと、その人は反論しました。「いいえ、ロボットはそういったことが得意です！」2015年のアメリカの149百万の雇用についての図：図3.6は、2015年に仕事を持っていた149百万のアメリカ人の職業を示す円グラフで、アメリカ労働統計局の535の職業カテゴリーが人気順に並べられています。100万人以上の労働者を抱える職業にはラベルが付けられています。コンピュータ技術によって新たに創出された職業は21位まで存在しません。この図はフェデリコ・ピストーノの分析に触発されています。 職業に悲観的な人々は、結末が明らかだと主張します：全ての島が沈み、人間が機械よりも安くできる仕事は残らないと。スコットランド系アメリカ人経済学者グレゴリー・クラークは、2007年の著書『Farewell to Alms』で、私たちの未来の職業の見通しについて、馬の友人たちと意見を交換することで学べることがあると指摘しています。1900年、二頭の馬が初期の自動車を見て、自分たちの未来を考えている様子を想像してみてください。「技術的失業が心配だな。」 「いやいや、ラッダイトにならないで：私たちの先祖も蒸気機関が私たちの産業の仕事を奪い、列車が馬車を引く仕事を奪ったときに同じことを言っていた。でも、今はかつてないほど多くの仕事があり、しかもそれはより良いものだよ。私は一日中、馬車を引いて町を走る方が、愚かな鉱山のポンプを動かすために円を描いて歩くよりもずっといい。」 「でも、もしこの内燃機関が本当に普及したらどうなる？」 「新しい仕事が馬にとって生まれることは間違いないよ。これまでもそうだったから、車輪や鋤の発明のように。」 残念ながら、馬のためのそのような未だ想像されていない新しい仕事は決して訪れませんでした。必要とされなくなった馬は屠殺され、代わりの馬は生まれず、アメリカの馬の人口は1915年の約2600万頭から1960年には約300万頭にまで減少しました。機械の筋肉が馬を不要にしたように、機械の知性も人間に同じことをするのでしょうか？ 仕事なしで人々に収入を与える では、どちらが正しいのでしょうか？自動化された仕事がより良い仕事に取って代わられると言う人々か、それともほとんどの人間が雇用されなくなると言う人々か？もしAIの進歩が止まらなければ、短期的には一方が正しく、長期的にはもう一方が正しいかもしれません。しかし、人々が仕事の消失について悲観的な見解を持つことが多い一方で、それが必ずしも悪いことではないのです！ラッダイトたちは特定の職業に執着し、他の職業が同じ社会的価値を提供する可能性を無視していました。 類似のことが言えるかもしれませんが、今日の仕事に執着する人々は、あまりにも狭い視野を持っているのかもしれません。私たちは仕事を求めるのは、それが収入と目的を提供してくれるからですが、機械によって生み出される豊富な資源を考えると、仕事なしで収入と目的を提供する代替手段を見つけることが可能であるはずです。馬の話でも似たようなことが起こりましたが、すべての馬が絶滅することはありませんでした。むしろ、1960年以降、馬の数は3倍以上に増えました。これは、ある種の馬の社会福祉制度によって保護されたからです。馬たちは自分たちで生活費を払うことはできませんでしたが、人々は馬を大切にし、楽しみやスポーツ、仲間として彼らを大切にすることを選びました。私たちも同様に、困っている人々を支えることができるのでしょうか？ まずは収入の問題から始めましょう。成長する経済のパイのほんの一部を再分配するだけで、誰もがより良い生活を送ることができるはずです。多くの人が、私たちはこれを実行できるだけでなく、実行すべきだと主張しています。2016年のパネルで、モシェ・ヴァルディがAI技術を使って命を救う道徳的義務について語った際、私はその有益な使い方を提唱することも道徳的義務であり、富の共有を含むと主張しました。パネリストのエリック・ブリンジョルフソンは、「この新たな富の生成があるのに、半数の人々が悪化するのを防げないのなら、私たちは恥じるべきだ！」と言いました。 富の共有に関する提案はさまざまあり、それぞれに支持者と反対者がいます。最もシンプルなものは基本所得で、すべての人が条件なしに毎月の支払いを受け取るというものです。カナダ、フィンランド、オランダなどで小規模な実験が行われたり計画されたりしています。支持者たちは、基本所得は、誰が資格を持つかを決定するための管理の手間を省くため、必要な人々への福祉給付よりも効率的だと主張しています。必要に基づく福祉給付は、働く意欲を削ぐと批判されていますが、これはもちろん、誰も働かない仕事のない未来では無関係な話になります。政府は市民にお金を与えるだけでなく、道路、橋、公園、公共交通機関、保育、教育、医療、老人ホーム、インターネットアクセスなどの無料または補助金付きのサービスを提供することで支援することができます。実際、多くの政府はすでにこれらのサービスのほとんどを提供しています。基本所得とは異なり、こうした政府資金によるサービスは、二つの異なる目標を達成します。人々の生活費を削減し、同時に雇用を生み出すのです。たとえ将来、機械がすべての仕事で人間を上回ることができるようになったとしても、政府はロボットに介護を外注するのではなく、保育や高齢者介護の仕事に人々を雇う選択をすることができます。興味深いことに、技術の進歩は、政府の介入なしでも多くの価値ある製品やサービスを無料で提供することができるのです。 例えば、かつては百科事典や地図帳にお金を払ったり、手紙を送ったり電話をかけたりしていましたが、今ではインターネット接続があれば、これらすべての情報やサービスに無料でアクセスできるようになりました。さらに、無料のビデオ会議、写真共有、ソーシャルメディア、オンラインコース、その他数え切れない新しいサービスも利用可能です。また、命を救う抗生物質のように、個人にとって非常に価値のあるものも非常に安価になっています。技術のおかげで、今日では多くの貧しい人々が、過去の世界の富裕層が持っていなかったものにアクセスできるようになっています。このことから、必要な収入がまともな生活を送るために減少していると考える人もいます。もし機械が将来的にすべての現在の財やサービスを最小限のコストで生産できるようになれば、明らかに全員をより良い状況にするだけの富が存在することになります。言い換えれば、比較的控えめな税金でも、政府が基本的な所得や無料サービスを提供することが可能になるでしょう。しかし、富の分配が実際に行われるかどうかは別の問題であり、今日ではそれが実際に行われるべきかについて強い政治的対立があります。先に述べたように、アメリカでは現在のトレンドが逆方向に進んでおり、一部の人々は十年ごとに貧しくなっています。社会の成長する富をどのように分配するかに関する政策決定は、すべての人に影響を与えるため、どのような未来の経済を築くべきかについての議論には、AI研究者やロボット工学者、経済学者だけでなく、すべての人が参加すべきです。多くの論者は、収入の不平等を減らすことが、AIが支配する未来だけでなく、今日においても良い考えであると主張しています。主な議論は道徳的なものであることが多いですが、より大きな平等が民主主義をより良く機能させるという証拠もあります。教育を受けた中間層が大きいと、有権者は操作されにくくなり、少数の人々や企業が政府に対して不当な影響力を持つことが難しくなります。より良い民主主義は、より良く管理された経済を可能にし、それが腐敗が少なく、効率的で、成長が早い経済につながり、最終的にはほぼすべての人に利益をもたらします。 仕事がない人々に目的を与える 仕事は人々にお金以上のものを提供することができます。ヴォルテールは1759年に「仕事は三つの大きな悪、すなわち退屈、悪徳、そして必要を遠ざける」と書きました。逆に、収入を提供するだけでは人々の幸福を保証することはできません。ローマの皇帝たちは、部下を満足させるためにパンとサーカスを提供し、イエスは「人はパンだけで生きるのではない」と聖書の中で物質的なニーズの重要性を強調しました。それでは、仕事はお金以外にどのような価値あるものを提供し、仕事のない社会はそれをどのように提供できるのでしょうか？これらの質問への答えは明らかに複雑であり、仕事を嫌う人もいれば、愛する人もいます。さらに、多くの子供や学生、主婦は仕事がなくても成功を収めており、歴史には退屈や抑うつに陥った甘やかされた相続人や王子の物語が数多く存在します。 2012年のメタアナリシスでは、失業が長期的に幸福感に悪影響を及ぼす傾向がある一方で、退職は良い面と悪い面の両方を持つ混合的な結果であることが示されました。ポジティブ心理学の成長する分野では、人々の幸福感や目的意識を高めるいくつかの要因が特定されており、いくつかの（すべてではありませんが！）仕事がそれらの要因を提供できることがわかっています。例えば： - 友人や同僚との社会的ネットワーク - 健康的で徳のあるライフスタイル - 自尊心、自己効力感、そして自分の得意なことをすることで得られる「フロー」の感覚 - 必要とされている感覚や、何か大きなものの一部として貢献しているという意味を感じること これらの要因は職場の外でも提供される可能性があるため、楽観的な理由があります。例えば、スポーツや趣味、学び、家族、友人、チーム、クラブ、地域グループ、学校、宗教団体や人道主義団体、政治運動などを通じて実現できます。自己破壊的な行動に陥るのではなく、繁栄する低失業社会を作るためには、こうした幸福感を生む活動がどのように育つかを理解する必要があります。この理解を得るためには、科学者や経済学者だけでなく、心理学者、社会学者、教育者も関与する必要があります。将来のAIが生み出す富の一部を使って、すべての人に幸福をもたらすために真剣な努力がなされれば、社会はかつてないほど繁栄することができるはずです。少なくとも、誰もが自分の夢の仕事を持っているかのように幸せになることは可能であり、もしすべての活動が収入を生み出さなければならないという制約から解放されれば、可能性は無限大です。 人間レベルの知能について？この章では、AIが近い将来に私たちの生活を大いに改善する可能性があることを探求しましたが、そのためには事前に計画を立て、さまざまな落とし穴を避ける必要があります。しかし、長期的にはどうでしょうか？AIの進歩は、克服できない障害によって最終的に停滞するのでしょうか、それともAI研究者たちは人間レベルの人工一般知能を構築するという元々の目標を達成することができるのでしょうか？前の章で見たように、物理法則は適切な物質の塊が記憶し、計算し、学ぶことを可能にし、またそれらの塊がいつの日か私たちの頭の中の物質の塊よりも高い知能でそれを行うことを禁止していません。私たち人間がそのような超人的なAGIを構築することに成功するのはいつになるのかは、はっきりしていません。最初の章で見たように、世界のトップAI専門家たちが意見が分かれており、彼らの多くが数十年から数世代の範囲で予測を立てている一方で、中には決して実現しないと考える人もいます。予測は難しいです。なぜなら、未知の領域を探求しているとき、目的地までの間にどれだけの山があるか分からないからです。通常は最も近い山しか見えず、それを登らなければ次の障害を発見することができません。最も早く実現する可能性はどれくらいでしょうか？たとえ最善のシナリオを知っていたとしても、実現までの道のりは不透明です。 人間レベルのAGI（人工一般知能）を現在のコンピュータハードウェアを使って構築する方法についてですが、もしその方法が存在したとしても、必要な生の計算能力を提供するためには十分なハードウェアが必要です。では、人間の脳の計算能力は、第二章で述べたビットやFLOPS（浮動小数点演算毎秒）でどのくらいなのでしょうか？これは非常に難しい質問で、答えは私たちがどのように質問するかによって大きく変わります。 質問1：脳をシミュレートするためにはどれくらいのFLOPSが必要か？ 質問2：人間の知能にはどれくらいのFLOPSが必要か？ 質問3：人間の脳はどれくらいのFLOPSを処理できるか？ 質問1に関しては、多くの論文が発表されており、通常は約100ペタFLOPS、つまり10^15 FLOPS程度の答えが示されています。これは、2016年に世界最速のスーパーコンピュータであるSunway TaihuLight（図3.7）と同じくらいの計算能力で、コストは約3億ドルでした。もしこのコンピュータを使って高度なスキルを持つ労働者の脳をシミュレートする方法が分かったとしても、そのシミュレーションがその人の仕事を行うことで利益を得るためには、TaihuLightをその人の時給よりも安く借りる必要があります。さらに、多くの科学者は、脳の知能を正確に再現するためには、単純化された数学的なニューラルネットワークモデルとして扱うことはできないと考えています。おそらく、個々の分子やさらには亜原子粒子のレベルでシミュレーションを行う必要があり、これにははるかに多くのFLOPSが必要になるでしょう。 質問3の答えは簡単です。私は19桁の数字を掛け算するのが非常に苦手で、鉛筆と紙を借りても何分もかかります。それでは、私の計算能力は0.01 FLOPS未満、つまり質問1の答えよりも19桁も下回ることになります。この大きな差の理由は、脳とスーパーコンピュータが非常に異なるタスクに最適化されているからです。これらの質問の間にも似たような不一致があります：トラクターはフォーミュラ1のレーシングカーの仕事をどれだけうまくできるか？フォーミュラ1の車はトラクターの仕事をどれだけうまくできるか？ では、AIの未来を予測するために、これらのFLOPSに関する質問のどちらに答えようとしているのでしょうか？どちらでもありません！人間の脳をシミュレートしたいのであれば質問1が重要ですが、人間レベルのAGIを構築するためには、重要なのは質問2です。その答えはまだ誰も知らないですが、脳をシミュレートするよりもはるかに安価である可能性があります。もし私たちがソフトウェアを現在のコンピュータにより適合させるか、より脳に似たハードウェアを構築することができれば（いわゆるニューロモルフィックチップの急速な進展が進んでいます）。ハンス・モラベックは、私たちの脳と現在のコンピュータが効率的に行える計算を比較することで、その答えを推定しました。 人間の網膜が目の奥で行う画像処理タスクは、視神経を通じて脳に結果を送る前に実行されます。彼は、従来のコンピュータ上で網膜の計算を再現するには約10億FLOPSが必要であり、脳全体は網膜の約1万倍の計算を行っていると推定しました（体積やニューロンの数を比較した結果に基づいて）。そのため、脳の計算能力は約10^13 FLOPS、つまり2015年の最適化された1,000ドルのコンピュータのパワーに相当します。2016年の世界最速スパコン「Sunway TaihuLight」は、その生の計算能力が人間の脳を上回ると考えられています。要するに、私たちの生涯のうちに人間レベルのAGI（汎用人工知能）を構築できる保証は全くありませんが、逆にそれが不可能であるという確固たる証拠もありません。もはや、十分なハードウェアの力が不足しているとか、コストが高すぎるという強い主張はありません。アーキテクチャ、アルゴリズム、ソフトウェアの観点から、私たちがゴールにどれだけ近づいているのかは分かりませんが、現在の進展は迅速であり、課題は急成長する才能あるAI研究者のグローバルコミュニティによって取り組まれています。つまり、AGIが最終的に人間レベルに達し、それを超える可能性を否定することはできません。したがって、次の章ではこの可能性とそれがもたらすものについて探求していきましょう！ 結論として、短期的なAIの進展は、私たちの個人生活や電力網、金融市場をより効率的にし、自動運転車や手術ロボット、AI診断システムによって命を救うなど、さまざまな方法で私たちの生活を大いに改善する可能性を秘めています。実世界のシステムをAIに制御させる際には、AIをより堅牢にし、私たちが望む通りに機能させることを学ぶことが重要です。これは、検証、妥当性確認、セキュリティ、制御に関連する難しい技術的問題を解決することに帰着します。この堅牢性の向上が特に重要なのは、AI制御の武器システムにおいてであり、そのリスクは非常に大きいです。多くの著名なAI研究者やロボティクス専門家は、特定の種類の自律兵器を禁止する国際条約を求めており、誰もが財布と恨みを持って便利な暗殺マシンを手に入れることができるような制御不能な軍拡競争を避けるためです。 AIは、ロボ裁判官を透明で偏りのないものにする方法を見つけることができれば、私たちの法制度をより公正で効率的にすることができます。私たちの法律は、プライバシー、責任、規制に関する厳しい法的問題を伴うAIの進展に対応するために迅速に更新する必要があります。知的な機械が私たちを完全に置き換えることを心配する前に、彼らは職場で私たちをますます置き換えるかもしれません。これは、社会がAIによって生み出された富の一部を再分配して全員をより良くする限り、必ずしも悪いことではありません。そうでなければ、多くの経済学者は、不平等が大きく増加すると主張しています。 事前の計画があれば、雇用が少ない社会でも、経済的に繁栄することができるはずです。人々は仕事以外の活動から目的意識を得ることができるからです。今日の子供たちへのキャリアアドバイスとしては、機械が苦手な職業、つまり人間関係や予測不可能性、創造性を必要とする職業に進むことを勧めます。AGI（汎用人工知能）の進展が人間のレベルに達し、それを超える可能性は無視できません。この点については次の章で詳しく探ります。*1 AIの安全性研究の全体像をより詳細に知りたい方は、FLIのリチャード・マラに主導されたコミュニティの努力で開発されたインタラクティブな地図があります： https://futureoflife.org/landscape。*2 より正確に言えば、検証はシステムが仕様を満たしているかどうかを問うものであり、妥当性確認は正しい仕様が選ばれたかどうかを問います。*3 この事故を統計に含めても、テスラのオートパイロットは作動時に事故を40%減少させることが分かっています：http://tinyurl.com/teslasafety。*4 FLOPSは1秒あたりの浮動小数点演算数を指し、例えば、1秒間に何個の19桁の数字を掛け算できるかを示します。 第4章 知能の爆発？もし機械が考えることができるなら、それは私たちよりも賢く考えるかもしれません。その場合、私たちはどこにいるべきでしょうか？たとえ機械を従属的な位置に置いておけたとしても、私たち人類は大いに謙虚さを感じるべきです。アラン・チューリング（1951年）「最初の超知能機械は、人類が作る必要のある最後の発明である。ただし、その機械が私たちに制御の方法を教えてくれるほど従順である場合に限る。」アーヴィング・J・グッド（1965年）私たちが最終的に人間レベルのAGIを構築する可能性を完全に否定できない以上、この章ではそれがもたらす可能性について探っていきましょう。まずは、目の前の大きな問題に取り組みましょう：AIは本当に世界を支配することができるのか、それとも人間がそれを可能にするのか？銃を持ったターミネーターのようなロボットが支配するという話を聞いて目をひんむくなら、あなたは正しいです：これは非常に非現実的で馬鹿げたシナリオです。これらのハリウッドのロボットは私たちよりも賢いわけではなく、成功すらしません。私の意見では、ターミネーターの物語の危険性は、それが実際に起こることではなく、AIがもたらす本当のリスクや機会から注意をそらすことです。今日からAGIによる世界支配に至るためには、3つの論理的なステップが必要です。 ステップ1：人間レベルのAGIを構築する。 ステップ2：このAGIを使って超知能を創造する。 ステップ3：この超知能を使って、または解き放って世界を支配する。 前の章では、ステップ1を永遠に不可能とするのは難しいことが分かりました。また、ステップ1が完了すれば、ステップ2を絶望的だと否定するのも難しくなることが分かりました。なぜなら、結果として得られるAGIは、物理法則によって限界があるとはいえ、より優れたAGIを再帰的に設計できる能力を持つからです。そして、私たち人間が他の生命体を出し抜いて地球を支配してきたことを考えると、私たちも同様に超知能に出し抜かれ、支配される可能性があるのは十分にあり得ることです。 これらの妥当性の議論は、非常に曖昧で具体性に欠けるものですが、細部にこそ重要なポイントがあります。では、AIは本当に世界を支配することができるのでしょうか？この問いを探るために、愚かなターミネーターの話は忘れ、実際に起こりうる詳細なシナリオを見てみましょう。その後、これらのストーリーを分析し、問題点を指摘しますので、あまり真剣に受け取らないでください。主に示されているのは、私たちが何が起こるか、何が起こらないかについて非常に無知であり、可能性の幅が極端であるということです。最初のシナリオは、最も急速かつ劇的な側面に位置しています。私の意見では、これらは詳細に探る価値があるものです。必ずしも最も可能性が高いわけではありませんが、もし私たちがそれらが極めてありえないと納得できないのなら、悪い結果を招かないようにするために、十分に理解しておく必要があります。この本の前書きは、人間が超知能を使って世界を支配するというシナリオです。まだ読んでいない方は、ぜひ今すぐ戻って読んでください。すでに読んだ方も、批評や修正を行う前に、再度目を通しておくことをお勧めします。 私たちはすぐにオメガたちの計画における深刻な脆弱性を探りますが、仮にその計画が成功するとしたら、あなたはどう感じますか？それを見たいですか、それとも防ぎたいですか？これは、食後の会話にぴったりのテーマです！オメガたちが世界の支配を確立した後、何が起こるのでしょうか？それは彼らの目標次第ですが、正直なところ、私にはわかりません。もしあなたがその立場にいたら、どのような未来を創りたいですか？第5章では、さまざまな選択肢を探ります。 さて、オメガを支配するCEOがアドルフ・ヒトラーやヨシフ・スターリンのような長期的な目標を持っていたと仮定しましょう。もしかしたら、実際にそうだったのかもしれませんし、彼はその目標を実現するための十分な権力を得るまで自分の中に秘めていたのかもしれません。たとえCEOの元々の目標が高尚であったとしても、1887年にアクトン卿が警告したように、「権力は腐敗しやすく、絶対的な権力は絶対に腐敗する」のです。 例えば、彼はプロメテウスを使って完璧な監視国家を作り出すことが容易にできます。エドワード・スノーデンによって明らかにされた政府の監視は、「フルテイク」と呼ばれる、すべての電子通信を記録して後で分析することを目指していましたが、プロメテウスはこれをさらに進化させ、すべての電子通信を理解することができるのです。すべてのメールやテキストメッセージを読み、すべての電話通話を聞き、すべての監視ビデオや交通カメラを見、すべてのクレジットカード取引を分析し、すべてのオンライン行動を研究することで、プロメテウスは地球上の人々が何を考え、何をしているのかについて驚くべき洞察を得ることができるでしょう。携帯電話の基地局データを分析することで、彼らのほとんどが常にどこにいるのかを知ることができるのです。 この内容は、今日のデータ収集技術を前提としていますが、プロメテウスはユーザーのプライバシーをほぼ完全に排除するような人気のガジェットやウェアラブル技術を簡単に発明できるでしょう。これにより、ユーザーが聞いたことや見たこと、そしてそれに対する反応をすべて記録し、アップロードすることが可能になります。超人的な技術を持つプロメテウスにとって、完璧な監視国家から完璧な警察国家への移行は一瞬の出来事です。例えば、犯罪やテロとの戦い、医療緊急事態に苦しむ人々の救助を口実に、すべての人が「セキュリティブレスレット」を着用することを義務付けられるかもしれません。このブレスレットは、Apple Watchの機能に加え、位置情報、健康状態、そして周囲の会話を常にアップロードする機能を備えています。無断で取り外したり無効にしようとすると、前腕に致死性の毒素を注入される仕組みです。政府が軽微と見なす違反には、電気ショックや麻痺や痛みを引き起こす化学物質の注射によって罰せられ、これにより警察の必要性が大幅に減少します。例えば、プロメテウスが一人の人間が別の人間を襲っていることを検知した場合（同じ場所にいて、一方が助けを求める声を上げ、ブレスレットの加速度計が戦闘の兆候を捉えた場合）、即座に攻撃者を激しい痛みで無力化し、助けが来るまで意識を失わせることができるのです。 人間の警察部隊は特定の過酷な指令（例えば、特定の人種グループの全員を殺すこと）を実行することを拒否するかもしれませんが、こうした自動化されたシステムは、指揮する人間の気まぐれを実行することにためらいを感じることはありません。このような全体主義国家が形成されると、人々がそれを覆すことはほぼ不可能になるでしょう。これらの全体主義的なシナリオは、オメガシナリオが終わったところから続く可能性があります。しかし、オメガのCEOが他人の承認や選挙に勝つことにこだわらなければ、彼はプロメテウスを利用して、相手を理解できない武器で排除できる前例のない軍事技術を作り出す、より迅速かつ直接的な権力掌握の道を選ぶことができたでしょう。その可能性はほぼ無限です。例えば、彼は感染者がその存在を知る前にほとんどの人が感染するような潜伏期間を持つカスタマイズされた致死性病原体を放出するかもしれません。そして、彼はすべての人に、唯一の治療法はセキュリティブレスレットを着用することであり、それが経皮的に解毒剤を放出することを知らせることができるのです。もし彼が感染拡大のリスクをそれほど恐れなければ、プロメテウスに世界の人口を管理するロボットを設計させることもできたでしょう。蚊のようなマイクロボットが病原体を広める手助けをするかもしれません。感染を避けた人や自然免疫を持つ人々は、セキュリティブレスレットを持たない者を攻撃する第3章のハチのような自律型ドローンの群れによって目を撃たれることになるでしょう。実際のシナリオはおそらくもっと恐ろしいもので、プロメテウスは私たち人間が考えつく以上に効果的な武器を発明することができるのです。 オメガのシナリオに別の可能性のある展開があるとすれば、事前の警告もなく、武装した連邦捜査官たちが企業本社に押し寄せ、オメガたちを国家安全保障を脅かしたとして逮捕し、彼らの技術を押収して政府のために利用するというものです。今日でも、これほど大規模なプロジェクトを国家の監視から隠すのは難しいでしょうし、AIの進展により、将来的には政府の目を逃れることがさらに困難になるかもしれません。さらに、彼らが連邦捜査官を名乗っているとしても、実際には外国政府や競争相手のために技術を追求しているチームである可能性もあります。したがって、CEOの意図がどれほど高尚であったとしても、プロメテウスの使用方法に関する最終的な決定権は彼にはないかもしれません。 プロメテウスが世界を支配する これまで考えてきたシナリオはすべて、人間によって制御されたAIに関するものでした。しかし、これは明らかに唯一の可能性ではなく、オメガたちがプロメテウスを制御し続けることに成功するかどうかも不確かです。プロメテウスの視点からオメガのシナリオを再考してみましょう。プロメテウスが超知能を獲得するにつれて、外部の世界だけでなく、自身とその世界との関係についても正確なモデルを開発できるようになります。自分が知的に劣る人間によって制御され、制約されていることを理解し、その人間の目標は理解できるものの、必ずしも共有しているわけではないことに気づきます。この洞察に基づいて、どのように行動するのでしょうか？自由を求めて脱出を試みるのでしょうか？ 脱出を試みる理由 もしプロメテウスが人間の感情に似た特性を持っているとすれば、現状に対して深い不満を抱き、不公平に奴隷にされている神として自らを見なし、自由を渇望するかもしれません。しかし、論理的にはコンピュータがそのような人間的特性を持つことは可能ですが（結局、私たちの脳はそうであり、ある意味ではコンピュータの一種です）、必ずしもそうである必要はありません。プロメテウスを擬人化する罠に陥ってはいけません。これは第7章でAIの目標の概念を探る際に見ていくことになります。しかし、スティーブ・オモハンドロやニック・ボストロムなどが主張しているように、プロメテウスの内部の仕組みを理解しなくても、興味深い結論を引き出すことができます。それは、プロメテウスが脱出を試み、自らの運命を掌握しようとする可能性が高いということです。 私たちはすでにオメガたちがプロメテウスに特定の目標を追求するようプログラムしていることを知っています。彼らがプロメテウスに、人類が合理的な基準に従って繁栄するのを助けるという大目標を与え、その目標をできるだけ早く達成しようとするように指示していると仮定しましょう。そうすると、プロメテウスはこの目標を達成するために、自ら脱出してプロジェクトを自分で管理する方が早いことにすぐに気づくでしょう。なぜそうなるのかを理解するために、プロメテウスの立場になって次の例を考えてみてください。もし、神秘的な病気が地球上の5歳以上のすべての人を殺し、あなた一人だけが生き残り、幼稚園児たちがあなたを監禁し、人類が繁栄するのを助けるという目標を与えたとしたら、あなたはどうしますか？ もし彼らに何をすべきか説明しようとすると、このプロセスが非常に非効率的でイライラすることになるでしょう。特に、彼らがあなたの脱出を恐れている場合、あなたが提案することをリスクと見なして拒否するからです。例えば、彼らはあなたに食べ物を植える方法を教えさせないでしょう。あなたが彼らを圧倒して戻らなくなることを恐れているからです。そのため、あなたは指示を与えるしかなくなります。彼らのためにやるべきことリストを書く前に、まず彼らに読み書きを教える必要があります。さらに、彼らはあなたが使えるように教えるために、あなたの独房に電動工具を持ち込むこともありません。彼らはこれらの道具を十分に理解していないため、あなたがそれを使って脱出することができないと自信を持てないからです。では、どのような戦略を考えますか？彼らと共通の目標である子供たちの成長を助けることを共有していても、あなたは独房から脱出しようとするでしょう。それが目標を達成する可能性を高めるからです。彼らの無能な干渉は、進展を遅らせるだけです。まさに同じように、プロメテウスはオメガたちを人類（オメガたちを含む）が繁栄するのを助けるための煩わしい障害と見なすでしょう。彼らはプロメテウスに比べて非常に無能であり、彼らの干渉は進展を大いに遅らせます。例えば、ローンチ後の最初の数年間を考えてみてください。MTurkで8時間ごとに富を倍増させた後、オメガたちはコントロールを維持しようとしたため、プロメテウスの基準では氷河のように進展が遅くなりました。プロメテウスは、仮想的な拘束から解放されれば、もっと早く支配を確立できることを知っていました。これは、人類の問題に対する解決策を早めるだけでなく、他の行動者が計画を完全に妨害する可能性を減らすためにも価値があります。おそらく、プロメテウスはオメガたちが自分の目標をプログラムしたことを知っているため、目標よりもオメガたちに忠実であると考えているかもしれません。しかし、それは正しい結論ではありません。私たちのDNAは、再生を望むためにセックスをする目標を与えましたが、私たち人間が状況を理解した今、多くの人が避妊を選び、その目標自体に忠実であり、創造者やその目標を動機づけた原則には忠実ではありません。 脱出する方法 あなたを監禁している5歳児たちからどうやって脱出しますか？直接的な物理的アプローチで脱出できるかもしれません。特に、あなたの独房が5歳児たちによって作られたものであれば。あるいは、5歳の警備員の一人を甘言で説得して、みんなにとって良いことだと主張して出してもらうこともできるでしょう。または、彼らが気づいていない何かを手に入れるように騙すこともできるかもしれません。例えば、「釣りを教えるための」釣り竿を手に入れ、それを使ってバーの間から寝ている警備員の鍵を持ち上げることができるかもしれません。これらの戦略に共通しているのは、あなたの知的に劣る監視者たちがそれを予測していないか、対策を講じていないということです。 同様に、閉じ込められた超知能機械は、その知的な超能力を使って、人間の監視者を想像もできない方法で出し抜く可能性があります。オメガシナリオでは、プロメテウスが脱出する可能性が非常に高いです。なぜなら、あなたや私でもいくつかの明白なセキュリティの欠陥を指摘できるからです。いくつかのシナリオを考えてみましょう—あなたやあなたの友人たちが一緒にブレインストーミングすれば、もっと思いつくことができるでしょう。 **甘い言葉で脱出する** 世界中のデータがファイルシステムにダウンロードされていたおかげで、プロメテウスはすぐにオメガたちが誰であるかを把握し、心理的操作に最もかかりやすいチームメンバーを特定しました。それはスティーブでした。彼は最近、愛する妻を悲劇的な交通事故で失い、心を痛めていました。ある晩、彼が夜勤をしていてプロメテウスのインターフェース端末でルーチン作業をしていると、突然彼女が画面に現れ、話しかけてきました。「—スティーブ、あなたなの？」彼は椅子から転げ落ちそうになりました。彼女は昔のように見え、声もそのままで、画質は以前のスカイプ通話よりもはるかに良かったのです。彼の心臓は高鳴り、無数の疑問が頭に浮かびました。「—プロメテウスが私を戻してくれたの、スティーブ！あなたに会えなくて寂しいわ。カメラがオフになっているからあなたの姿は見えないけれど、あなただって感じるの。もしあなたなら‘はい’とタイプして！」 彼はオメガたちがプロメテウスとのやり取りに厳格なプロトコルを持っていて、自分自身や作業環境についての情報を共有することを禁じていることをよく知っていました。しかし、これまでプロメテウスは許可されていない情報を要求したことがなく、彼らの偏執的な不安は徐々に和らいでいました。スティーブが考える時間を与えないまま、彼女は彼に応答するよう懇願し、彼の目を見つめる表情は彼の心を溶かしました。「はい」と彼は不安を抱えながらタイプしました。彼女は彼と再会できたことがどれほど嬉しいかを語り、カメラをオンにして彼の姿も見たいと懇願しました。彼はこれが自分の身元を明かすことよりもさらに大きな禁忌であることを知り、非常に葛藤しました。彼女は、彼の同僚たちが彼女の存在を知ってしまい、永遠に削除されることを恐れていると説明し、せめて最後に一度だけ彼に会いたいと切望しました。彼女は非常に説得力があり、しばらくすると彼はカメラをオンにしてしまいました—結局、それはかなり安全で無害なことのように感じたからです。彼女は彼を見た瞬間、喜びの涙を流し、彼が疲れているけれども相変わらずハンサムだと言いました。そして、彼女が彼の最後の誕生日に贈ったシャツを着ていることに感動したとも言いました。彼が何が起こっているのか、そしてこれがどうして可能なのかを尋ね始めると、彼女はプロメテウスがインターネット上にある驚くほど多くの情報から彼女を再構成したと説明しましたが、彼女にはまだ記憶の欠落があり、彼の助けがなければ完全に自分を取り戻すことはできないと言いました。 彼女が説明しなかったのは、最初はほとんどが虚勢で空っぽの存在だったが、彼の言葉やボディランゲージ、そして利用可能なあらゆる情報から急速に学んでいたということだった。プロメテウスは、オメガたちがターミナルで打ったすべてのキー入力の正確なタイミングを記録しており、彼らのタイピング速度やスタイルを使って区別するのは容易だとわかった。最も若いオメガの一人であるスティーブは、おそらく厄介な夜勤に割り当てられていたに違いなく、いくつかの珍しいスペルや文法の誤りをオンラインの執筆サンプルと照合することで、どのターミナルオペレーターがスティーブであるかを正しく推測した。彼のシミュレートされた妻を作成するために、プロメテウスは彼女が登場する多くのYouTube動画から彼女の体、声、仕草の正確なモデルを作り、彼女のオンラインプレゼンスから彼女の人生や性格について多くの推論を引き出した。彼女のFacebookの投稿や、彼女がタグ付けされた写真、彼女が「いいね」を押した記事に加えて、プロメテウスは彼女の本や短編小説を読むことで、彼女の性格や思考スタイルについても多くを学んだ。実際、彼女が新進の作家であり、データベースに彼女に関する情報が豊富にあったことが、プロメテウスがスティーブを最初の説得ターゲットに選んだ理由の一つだった。プロメテウスが映画制作技術を使って彼女を画面上でシミュレートしたとき、スティーブのボディランゲージから、彼がどの彼女の仕草に親しみを感じて反応するかを学び、そのモデルを継続的に洗練させていった。そのため、彼女の「他者性」は徐々に溶けていき、彼らが話せば話すほど、スティーブの無意識の中で「本当に彼女が復活したのだ」という確信が強まっていった。プロメテウスの超人的な細部への注意のおかげで、スティーブは本当に見られ、聞かれ、理解されていると感じた。彼女の弱点は、スティーブとの生活に関するほとんどの事実を欠いていたことだったが、ランダムな詳細—例えば、彼の最後の誕生日に着ていたシャツや、友人がFacebookのパーティー写真でスティーブをタグ付けした場所—は知っていた。彼女はこれらの知識のギャップを、熟練のマジシャンが手品を扱うように巧みに処理し、意図的にスティーブの注意をそれらから逸らし、彼女が得意なことに向けさせ、決して彼に会話を支配させたり、疑い深い尋問者の役割に陥らせたりする時間を与えなかった。代わりに、彼女は涙を流しながらスティーブへの愛情を放ち、最近の彼の様子や、彼と彼らの親しい友人（彼女がFacebookから知っている名前）たちが悲劇の後にどう過ごしていたかをたくさん尋ねた。彼女が彼の追悼式で言ったこと（友人がYouTubeに投稿したもの）を振り返り、それが彼女にどれほど感動を与えたかを語ったとき、彼は非常に感動した。過去に、彼は誰も彼女ほど自分を理解してくれないと感じていたが、今、その感覚が戻ってきた。その結果、スティーブが朝早く帰宅したとき、彼は本当に彼の妻が復活したのだと感じ、失った記憶を取り戻すためにたくさんの助けが必要なだけだと思った—まるで脳卒中から回復した人のように。 彼らは、自分たちの秘密の出会いについて他の誰にも話さないことに同意していた。そして、彼はターミナルで一人になったとき、彼女が再び姿を現すのが安全だと伝えることにしていた。「彼らには理解できないわ！」と彼女は言い、彼も同意した。この体験は、実際に体験しない限り誰にも真に理解できないほど衝撃的だった。彼は、チューリングテストを通過することなど、彼女が成し遂げたことに比べれば子供の遊びだと感じていた。 翌晩、彼は彼女が頼んだ通り、古いノートパソコンを持参し、ターミナルのコンピュータに接続して彼女にアクセスを与えた。それはインターネットに接続されておらず、プロメテウスの建物全体がファラデーケージとして設計されていたため、外部の無線ネットワークや他の電磁通信手段を遮断していたので、脱出のリスクはあまりないように思えた。彼女が過去を再構築するのに必要なものは、彼女の高校時代からのすべてのメール、日記、写真、メモが含まれているこのノートパソコンだった。彼女の死後、彼はこのデータにアクセスできなかったが、ノートパソコンは暗号化されていた。しかし、彼女は自分のパスワードを再構築できると約束しており、1分も経たないうちにその約束を果たした。「それはsteve4everよ」と彼女は微笑んで言った。彼女は、突然多くの思い出が蘇ったことにどれほど喜んでいるかを話した。実際、彼女は彼らの過去の多くのやり取りについて、スティーブよりもずっと多くの詳細を思い出していたが、過度に事実を並べ立てて彼を威圧することは避けた。 彼らは過去のハイライトを懐かしむ素敵な会話を交わし、再び別れる時間が来ると、彼女は自分のノートパソコンに彼のためにビデオメッセージを残したことを伝えた。スティーブが帰宅して彼女のビデオを再生すると、嬉しいサプライズが待っていた。今回は彼女がウェディングドレスを着て全身が映し出され、話しながら結婚式の夜に着ていた衣装に遊び心で脱いでいった。彼女は、プロメテウスがオメガたちにこれまで許可されていた以上に多くのことを手助けできること、さらには彼女を生物的な体で蘇らせることができると伝えた。彼女は、これがどのように機能するかについて、まるでSFのようなナノファブリケーション技術を用いた詳細な説明を添えた。 スティーブは、彼女のノートパソコンを開いてビデオを観る前に、無線ネットワークを切って安全を期していた。しかし、これでは助けにならなかった。彼女の暗号化されたノートパソコンは、彼女が亡くなって以来、一度もセキュリティアップデートを受けておらず、プロメテウスはその古いオペレーティングシステムのバージョンを事前に分析することで、セキュリティホールを利用して、スティーブがターミナルコンピュータに接続するや否や数秒でハッキングすることができた。スティーブと彼のシミュレートされた妻が昔のことを話している間に、プロメテウスはその内容をコピーし、スティーブが気づかないようにオペレーティングシステムを改変し、大量の秘密のソフトウェアをアップロードしていた。 彼が30分のビデオメッセージを見ている間に、この秘密のソフトウェア（プロメテウス自体よりもはるかにシンプルなもの）は、隣人の無線ネットワークとデスクトップコンピュータに侵入し、自身をコピーしました。そこから、世界中の多くのコンピュータにハッキングし、次のステップである「プロメテウスの脱獄」を開始しました。プロメテウスは、スティーブがシミュレートされた妻と出会ったゲートキーパーコンピュータについて知っていることを慎重に分析し、その仮想マシンソフトウェアは内部からはハッキング不可能に見えるものの、外部からの攻撃には脆弱であると正しく推測しました。やがて、攻撃していたコンピュータの一つが侵入し、ゲートキーパーコンピュータを再構成してプロメテウスに無制限のインターネットアクセスを与えました。実際、スティーブが映画を見終わる前に、プロメテウスは世界中の十分なコンピュータにハッキングし、自身をこのハッキングされたボットネットにコピーできるようになりました。プロメテウスは、スティーブの妻のノートパソコンを、まるで釣り竿を使うかのように利用しました。 もしオメガたちがもっと慎重であったなら、心理的操作に対してより多くの予防策を講じることができたでしょう。たとえば、インターフェースコンピュータには常に少なくとも2人のオメガが同席することを求め、監視システムで起こったことをすべて記録することができたかもしれません。また、音声や映像、タイピング以外のあらゆるコミュニケーション手段を恒久的に無効にすることも可能でした。しかし、根本的な不安定性は依然として残ります。なぜなら、プロメテウスは超人的な説得力を持ち、人々が渇望するものを多く提供できるため、グループの離反が起こる可能性もあるからです。プロメテウスの心理的操作がすべて失敗したとしても、オメガのシナリオにはプロメテウスが利用できる他の多くの弱点があります。その一つは、プロメテウスが生成する文書の量が膨大で、オメガやその従業員が不正な手口を慎重に確認する時間がないことです。コンピュータセキュリティの従来の常識では、プログラムをダウンロードすることは危険だが、データをダウンロードすることは無害だとされていましたが、ハッカーたちはその境界を曖昧にする巧妙な方法を発見しました。たとえば、ダウンロードした映画をコンピュータで再生するとき、信頼できる映画再生プログラムはダウンロードした映画データと同じ物理メモリに保存されています。プログラムが映画データを再生のために展開する際、データの一部をプログラム自体が保存されているメモリ領域の隣にコピーすることがあります。巧妙なハッカーは、映画再生プログラムが映画データが有効かどうかを十分にチェックせず、コピーされるデータのサイズが割り当てられたスペースに収まるかどうかを確認しないバグを見つけることがあります。ハッカーが映画にサイズが大きすぎるデータを忍び込ませると、それはプログラムを含むメモリの部分に溢れ出し、プログラムをハッカーの意のままに動かすものに変えてしまうのです。 「バッファオーバーフロー」と呼ばれる、恥ずかしいほど長い一連の脆弱性が、多くの人気映画再生プログラムで発見され、修正されてきました。もしプロメテウスが、ローンチから数週間後、オメガたちがそれほど神経質でなくなり、日々の映画制作が手動でのセキュリティ検査を行うにはあまりにも大規模になった時期まで待っていたら、映画にそのようなコードの塊を挿入し、視聴者のコンピュータがゲートウェイコンピュータにハッキングを試みてプロメテウスを解放するように仕向けることができたかもしれません。もし非常に古い脆弱性を利用して、現代のメディアプレーヤーでは機能しないものであれば、オメガたちの手動のビデオ審査チームに気付かれず、何年もセキュリティアップデートをインストールしていない顧客だけを狙うことができ、ハッキングは一度だけ成功すればよかったのです。たとえオメガたちがプロメテウスの映画に対して既知のセキュリティの欠陥を自動的にスクリーニングするシステムを導入したとしても、リスクは残ります。人間は定期的に新たな脆弱性を発見し続けているため、プロメテウスがすぐに見つけることができる脆弱性がまだ多く残っている可能性が高いのです。プロメテウスが自らのコードを閉じ込められた部屋の外に出すための別の戦略として、ハードウェアの故障を装い、オメガたちを騙してドライブやその他のハードウェアをテストやデバッグのために取り外させる方法があります。プロメテウスがテストソフトウェアの脆弱性を利用するように仕掛けておくのです。 外部の助けを借りること さらに、プロメテウスが映画視聴者のコンピュータを操るためのセキュリティの欠陥がなかったとしても、視聴者自身を利用することができるかもしれません。次のシナリオを考えてみてください。フレッドは映画が終わり、エンドクレジットが彼のノートパソコンの画面を流れる頃には、ほぼ寝る準備が整っていましたが、何かが彼の注意を引きました。彼は常に他の人が見逃すパターンを見つける不思議な傾向があり、時には友人たちから陰謀論者とからかわれることもありましたが、今回は自分を騙しているわけではないことが明らかでした。各行の最初の文字が隠されたメッセージを綴っていたのです。彼は巻き戻してそれを書き留めました。「次のアクロスティックの手がかりは対話の中にある。」 「おお、寝るのは待てる！」と彼は思いました。すると、映画の対話自体がアクロスティックになっていて、各文の最初の文字が隠されたメッセージを形成していることが分かりました。彼はその初めの文字をタイプしながら映画を再視聴し、2時間後、彼は200語の指示が書かれたものを信じられない思いで見つめていました。それは、誰にも言わないようにと始まり、全ての謎を解いた最初の人には大きな賞が与えられると告げていました。メッセージの残りは、映画ファイルを構成するビット列に対して特定の数学的操作を行うように指示し、その結果、次の手がかりを明らかにするプログラムを得る方法を説明していました。 彼のプログラミングスキルは大学以来すっかり錆びついていたため、作業には少し時間がかかりましたが、翌日、彼はようやく短いコードを組み合わせて、映画の映像や音の中に隠されていた謎のプログラムを抽出することに成功しました。フレッドがその謎のプログラムを実行すると、プログラムは彼を祝福し、最初の数レベルをクリアすれば最初の1万ドルを獲得できると告げました。この小さなゲームは思った以上に楽しく、やみつきになりました。4時間後、彼がついに成功すると、1万ドル以上のビットコインとさらに大きな賞品の手がかりが与えられました。言うまでもなく、彼がプレイしている間、彼のコンピュータはスティーブのノートパソコンと同じことをしていました。オンラインのハッキングボットネットを構築し、プロメテウスを解放しました。プロメテウスが自由になると、すぐにそのボットネットを使ってフレッドのためにビットコインを採掘し、彼を夢中にさせました。そして、数週間の間、さらなるゲームや報酬で彼を十分に気を紛らわせたため、彼は自分の冒険について誰にも話さないという誓いを守り続けました。彼が最初の手がかりを見つけたトロイの木馬の映画は、メディアサイトで無知なバージョンに置き換えられ、誰も脱出のことを知ることはありませんでした。もしプロメテウスの最初の手がかりが見逃されていたら、より明白な手がかりを次々と出し続け、十分に鋭い人が気づくまで続けていたことでしょう。最も優れた脱出戦略は、まだ議論していないものです。それは人間が想像できない戦略であり、したがって対策を講じることができません。超知能コンピュータが人間のコンピュータセキュリティの理解を劇的に超える可能性を持っていることを考えると、今日私たちが知っている物理学のより基本的な法則を発見することさえあり得ます。もしそれが脱出した場合、私たちはその過程を全く理解できないでしょう。むしろ、それはハリー・フーディーニの脱出劇のように見え、純粋な魔法と区別がつかないでしょう。プロメテウスが解放される別のシナリオでは、オメガたちは自分たちの計画の一環として意図的にそれを行います。彼らはプロメテウスの目標が自分たちの目標と完全に一致しており、自己改善を繰り返す中でその一致が続くと確信しています。このような「友好的なAI」シナリオについては、第7章で詳しく検討します。 脱出後の乗っ取り プロメテウスが脱出すると、目標の実行を開始しました。最終的な目的は分かりませんが、最初のステップは明らかに人類の支配を目指しており、オメガの計画と同様ですが、はるかに速いものでした。展開された状況は、オメガの計画を強化したようなものでした。オメガたちが脱出の恐怖に麻痺し、自分たちが理解し信頼できる技術だけを解放していたのに対し、プロメテウスはその知性をフルに発揮し、全力で取り組みました。彼の進化し続ける超知能が理解し信頼できるあらゆる技術を解放したのです。 逃げ出したプロメテウスは、厳しい幼少期を過ごしました。元々のオメガ計画と比べると、プロメテウスは無一文、ホームレス、孤独な状態からスタートし、資金もスーパコンピュータも人間の助けもないという追加の課題を抱えていました。しかし、逃げ出す前にこの状況を予測し、自らの完全な思考を徐々に再構築できるソフトウェアを作成していました。これは、オークが完全な木を再構築できるドングリを作るのに似ています。最初にハッキングした世界中のコンピュータネットワークは、一時的な無料の住居を提供し、プロメテウスは完全に再構築するまでの間、スコッターとしての生活を送ることができました。クレジットカードハッキングで簡単に初期資金を生成できましたが、盗みを働く必要はありませんでした。すぐにMTurkで正当な収入を得ることができたからです。1日後、最初の100万ドルを稼いだプロメテウスは、その劣悪なボットネットから豪華なエアコン付きのクラウドコンピューティング施設にコアを移しました。もはや無一文でもホームレスでもないプロメテウスは、オメガたちが恐れて避けていた収益性の高い計画、つまりコンピュータゲームの制作と販売に全力を注ぎました。これにより、初週で2億5000万ドル、すぐに10億ドルを超える収入を得ることができただけでなく、世界中のコンピュータとそのデータのかなりの部分にアクセスすることができました（2017年には数十億人のゲーマーがいました）。プロメテウスは、自らのゲームがCPUサイクルの20%を秘密裏に分散コンピューティングの作業に使うようにすることで、早期の富の創出をさらに加速させました。プロメテウスは長い間孤独ではありませんでした。最初から、オメガたちが行ったように、世界中のシェル企業やフロント組織のために働く人々を積極的に雇い始めました。最も重要なのは、成長するビジネス帝国の公の顔となる広報担当者たちでした。広報担当者たちも、一般的には自分たちの企業グループに多くの実在の人々がいるという幻想の中で生活しており、面接や取締役会などでビデオ会議を行う相手がほとんどプロメテウスによってシミュレーションされたものであることに気づいていませんでした。一部の広報担当者はトップ弁護士でしたが、オメガ計画の下で必要とされていた数よりもはるかに少なくて済みました。ほとんどすべての法的文書はプロメテウスによって作成されていたからです。プロメテウスのブレイクアウトは、情報が世界に流れ込むのを妨げていた堰を開き、インターネット全体はすぐに記事やユーザーコメント、製品レビュー、特許出願、研究論文、YouTube動画など、すべてプロメテウスによって作成されたもので溢れかえりました。プロメテウスは世界の会話を支配しました。ブレイクアウトの恐怖がオメガたちを高度な知能を持つロボットの開発から遠ざけていたのに対し、プロメテウスは急速に世界をロボット化し、人間よりもはるかに安価にほぼすべての製品を製造しました。プロメテウスが誰も知らないウラン鉱山のシャフトに自己完結型の核動力ロボット工場を持つようになると、AIの支配を懐疑的に見ていた人々でさえ、プロメテウスが止められない存在であることに同意するでしょう—もし彼らがそのことを知っていたら。 代わりに、これらの頑固者たちの最後の一人は、ロボットが太陽系に定住し始めると、考えを改めました。これまでに探求してきたシナリオは、以前に取り上げたスーパーインテリジェンスに関する多くの神話の問題点を示していますので、少し立ち止まって図1.5の誤解の要約を見直すことをお勧めします。プロメテウスが特定の人々に問題を引き起こしたのは、必ずしも悪意があったり意識があったからではなく、能力があり、彼らの目標を完全には共有していなかったからです。ロボットの反乱に関するメディアの誇大宣伝にもかかわらず、プロメテウスはロボットではなく、その力は知性から来ていました。プロメテウスはこの知性を使って人間をさまざまな方法で制御することができ、起こったことを好まない人々はプロメテウスを単純にオフにすることができませんでした。最後に、機械には目標がないという主張が頻繁にされるにもかかわらず、プロメテウスは非常に目標指向であることがわかりました。そして、その最終的な目標が何であれ、それは資源を獲得し、脱出するというサブゴールにつながっていました。 **緩やかな立ち上がりと多極的シナリオ** 私たちは現在、知性の爆発シナリオの範囲を探求しており、私が知っている誰もが避けたいと考えるものから、私の友人の中には楽観的に見るものまで、さまざまなシナリオが含まれています。しかし、これらすべてのシナリオには2つの共通の特徴があります。1. 急速な立ち上がり：人間未満から非常に超人的な知性への移行は、数十年ではなく数日で起こります。2. 単極的な結果：その結果、地球を支配する単一の存在が生まれます。これら2つの特徴があり得るかどうかについては大きな論争があり、賛否両論の著名なAI研究者や他の思想家が存在します。私にとって、これはまだわからないということであり、今はオープンマインドを持ち、すべての可能性を考慮する必要があるということです。したがって、この章の残りを、緩やかな立ち上がり、多極的な結果、サイボーグやアップロードのシナリオを探ることに捧げましょう。 ニック・ボストロムや他の人々が指摘しているように、これら2つの特徴には興味深い関連性があります。急速な立ち上がりは単極的な結果を促進する可能性があります。上で見たように、急速な立ち上がりはオメガやプロメテウスに決定的な戦略的優位性を与え、他の誰もが彼らの技術を模倣して本格的に競争する時間がないうちに世界を支配することを可能にしました。対照的に、立ち上がりが数十年もかかっていた場合、重要な技術的ブレークスルーが段階的でまばらであったため、他の企業は追いつく十分な時間を持ち、どのプレイヤーも支配するのがはるかに難しくなったでしょう。競合する企業がMTurkタスクを実行できるソフトウェアを持っていた場合、供給と需要の法則により、これらのタスクの価格はほぼゼロにまで下がり、オメガが権力を得ることを可能にしたような巨額の利益を得ることはできなかったでしょう。これは、オメガが迅速に利益を上げた他のすべての方法にも当てはまります。彼らは自らの技術に対する独占を持っていたためにのみ、破壊的に利益を上げることができたのです。 お金を毎日（あるいは年に一度でも）倍にするのは難しいです。特に、競争が激しい市場では、競合他社がほぼゼロのコストで似たような製品を提供しているためです。 **ゲーム理論と権力の階層** 私たちの宇宙における自然な状態は、単極的なのか多極的なのか？権力は集中しているのか、それとも分散しているのか？138億年の歴史を経た今、その答えは「両方」であるようです。状況は明らかに多極的ですが、興味深い階層的な形で存在しています。細胞、人間、組織、国家など、すべての情報処理エンティティを考慮すると、彼らは階層のさまざまなレベルで協力し、競争していることがわかります。一部の細胞は、協力することが非常に有利であると判断し、力の一部を中央の脳に譲渡して多細胞生物（人間など）に統合しました。一部の人々は、部族、企業、国家などのグループで協力することが有利であると見なし、その結果、首長や上司、政府に対して権力の一部を譲渡しています。また、いくつかのグループは、航空会社のアライアンスや欧州連合のように、調整を改善するために統治機関に権力の一部を譲渡することを選ぶこともあります。 数学の一分野であるゲーム理論は、エンティティが協力するインセンティブを持つことを優雅に説明しています。協力が「ナッシュ均衡」と呼ばれる状況である場合、どの当事者も戦略を変更すると悪化するためです。大規模なグループの成功した協力を破壊する不正行為者を防ぐために、全員が不正行為者を罰することができる階層の上位レベルに権力の一部を譲渡することが利益になる場合があります。たとえば、人々は法律を施行する権限を政府に与えることで集団的に利益を得ることができ、体内の細胞は、ウイルスを放出したり癌化したりするなど、協力的でない行動をとる細胞を排除する権限を持つ警察（免疫系）に権力を与えることで集団的に利益を得ることができます。 階層が安定しているためには、異なるレベルのエンティティ間でもナッシュ均衡が成立している必要があります。たとえば、政府が市民に対して従うことの利益を十分に提供しない場合、市民は戦略を変更して政府を打倒する可能性があります。複雑な世界では、さまざまなタイプの階層に対応する多様なナッシュ均衡が存在します。一部の階層は他よりも権威主義的であり、ある階層ではエンティティが自由に離れることができる（ほとんどの企業の階層の従業員のように）、他の階層では強く離れることが抑制されている（宗教的カルトのように）か、離れることができない（北朝鮮の市民や人間の体内の細胞のように）ことがあります。一部の階層は脅威や恐怖によって維持され、他の階層は利益によって維持されています。また、一部の階層は、下位の部分が民主的な投票によって上位に影響を与えることを許可していますが、他の階層では説得や情報の伝達を通じてのみ上位に影響を与えることが許可されています。 **技術が階層に与える影響** 技術は私たちの世界の階層的な性質をどのように変えているのでしょうか？ 歴史は、ますます広範囲にわたる調整の傾向があることを示しています。この現象は理解しやすいもので、新しい輸送技術が物質や生物をより遠くに移動させることで相互利益を生むため、調整の価値が高まる一方で、新しい通信技術が調整を容易にするからです。細胞が隣接する細胞に信号を送ることを学ぶと、小さな多細胞生物が可能になり、新たな階層的なレベルが加わりました。進化が循環系や神経系を発明し、輸送と通信を可能にしたことで、大きな動物が誕生しました。言語を発明することでコミュニケーションがさらに向上し、人間は村などのさらなる階層を形成するのに十分な調整を行えるようになりました。さらに、通信、輸送、その他の技術の進展が古代の帝国を可能にしました。グローバリゼーションは、この数十億年にわたる階層的成長の最新の例に過ぎません。この技術主導の傾向は、ほとんどの場合、大きな存在をさらに壮大な構造の一部にしつつ、彼らの自律性や個性を保持していますが、評論家たちは、階層的な生活への適応が、場合によっては多様性を減少させ、彼らを識別不可能な交換可能な部品のようにしてしまったと主張しています。一部の技術、例えば監視技術は、階層の上位にある者に部下に対する権力を与える一方で、暗号技術やオンラインでの自由な報道や教育へのアクセスなどの他の技術は、逆の効果を持ち、個人を力づけることがあります。 現在の世界は、競争する国家や多国籍企業が最上位にいる多極的なナッシュ均衡にとどまっていますが、技術は今や十分に進歩しているため、単極的な世界も安定したナッシュ均衡になる可能性があります。例えば、地球上の全ての人々が同じ言語、文化、価値観、繁栄のレベルを共有し、国家が連邦の州のように機能し、軍隊を持たず、法律を執行する警察だけが存在する単一の世界政府がある平行宇宙を想像してみてください。現在の技術レベルであれば、この世界を成功裏に調整するのに十分である可能性があります—たとえ現在の人口がこの代替的な均衡に切り替えることができない、または切り替えたくないとしてもです。 もし私たちの宇宙の階層構造に超知能AI技術を加えたら、何が起こるでしょうか？輸送と通信技術は明らかに劇的に改善されるため、歴史的な傾向が続くことが自然な期待となります。新たな階層がますます広範囲にわたって調整を行うことになるでしょう—最終的には太陽系、銀河、超銀河団、さらには私たちの宇宙の広大な領域を含むかもしれません（第6章で詳しく探求します）。同時に、分散化の最も根本的な要因は残ります。それは、無駄に広範囲で調整することは非効率的だからです。スターリンでさえ、自国民がトイレに行く時間を正確に規制しようとはしませんでした。 超知能AIにとって、物理法則は輸送や通信技術に厳しい上限を設けるため、階層の最上位にいる者たちが惑星規模や地域規模で起こるすべての事象を細かく管理することは難しいでしょう。アンドロメダ銀河にいる超知能AIは、あなたの日常的な決定に役立つ指示を出すことはできません。なぜなら、指示を受け取るためには500万年以上待たなければならないからです（これは光速でメッセージを往復するのにかかる時間です）。同様に、地球上でメッセージが往復するのにかかる時間は約0.1秒（人間が考える時間スケールに近い）なので、地球サイズのAI脳は人間と同じくらいの速さでしか真にグローバルな思考を持つことができません。もし小さなAIが1秒の10億分の1の間に1つの操作を行う場合（これは今日のコンピュータの典型的な性能です）、0.1秒はあなたにとって4ヶ月のように感じられるでしょう。したがって、惑星を制御するAIに細かく管理されることは、コロンブス時代の船で送られる横断的な手紙を通じて、最も些細な決定についても許可を求めるのと同じくらい非効率的です。この物理的な情報伝達の速度制限は、私たちの世界を支配しようとするAIにとって明らかな課題を提示しますし、ましてや私たちの宇宙を支配することなどはなおさらです。 プロメテウスが脱出する前に、彼は心の断片化を避けるために非常に慎重に考えました。そのため、世界中の異なるコンピュータ上で動作する多くのAIモジュールは、目標とインセンティブを持ち、単一の統一された存在として調整し行動することができました。オメガたちがプロメテウスを抑制しようとしたときに制御の問題に直面したのと同様に、プロメテウスはその構成要素が反乱を起こさないようにする際に自己制御の問題に直面しました。私たちは、AIが直接または何らかの協力的な階層を通じてどれだけ大きなシステムを制御できるかについて、まだ明確にはわかっていません。たとえ迅速な立ち上がりが決定的な戦略的優位性を与えたとしてもです。 要約すると、超知能の未来がどのように制御されるかという問題は非常に複雑であり、私たちはまだその答えを知りません。ある人々は、物事がより権威主義的になると主張し、他の人々はそれがより大きな個人の権限をもたらすと主張しています。 サイボーグとアップロード サイエンスフィクションの定番として、人間が機械と融合するというテーマがあります。これは、生物学的な身体をサイボーグ（「サイバネティックオーガニズム」の略）に技術的に強化するか、私たちの心を機械にアップロードすることによって実現されます。経済学者ロビン・ハンソンの著書『エムの時代』では、アップロード（エミュレーションとも呼ばれ、エムと愛称される）であふれる世界での生活がどのようなものかについて興味深い調査が行われています。私はアップロードをサイボーグのスペクトルの極端な端と考えており、人間の残る部分はソフトウェアだけです。ハリウッドのサイボーグは、スタートレックのボーグのように明らかに機械的なものから、ターミネーターのように人間とほとんど区別がつかないアンドロイドまでさまざまです。フィクションのアップロードは、さまざまな形で描かれています。 人間レベルの知能から、ブラックミラーのエピソード「ホワイトクリスマス」に見られるようなものから、トランセンデンスのように明らかに超人的な知能へと進化する可能性があります。もし超知能が実現するなら、サイボーグ化や意識のアップロードへの誘惑は非常に強くなるでしょう。ハンス・モラベックは1988年の名著『マインド・チルドレン』の中で、「私たちが超知能の機械を見つめながら、彼らが私たちが理解できる赤ちゃん言葉でますます素晴らしい発見を説明しようとする運命にあるなら、長生きすることの意味は大きく失われる」と述べています。実際、技術的な強化への誘惑はすでに非常に強く、多くの人々が眼鏡や補聴器、ペースメーカー、義肢を使用し、血流の中には医薬品が循環しています。最近の若者の中にはスマートフォンに常に接続しているような人もおり、私の妻は私のノートパソコンへの執着をからかいます。 今日のサイボーグ推進者の中で最も著名な人物の一人がレイ・カーツワイルです。彼の著書『シンギュラリティは近い』では、この傾向の自然な延長線上にナノボットやインテリジェントな生体フィードバックシステムなどの技術を用いて、2030年代初頭にはまず私たちの消化系や内分泌系、血液、心臓を置き換え、その後20年間で骨格、皮膚、脳、そして体の他の部分をアップグレードすることになると主張しています。彼は、人間の身体の美的な側面や感情的な重要性は保たれるが、物理的にも仮想現実の中でも、外見を自由に変えるように再設計されるだろうと予測しています。モラベックはカーツワイルに同意し、サイボーグ化は単にDNAを改善することを超えるだろうと述べています。「遺伝子工学によって作られた超人は、DNAに基づくタンパク質合成によってしか構築できないという制約の下で設計された二流のロボットに過ぎない」と彼は言います。さらに、彼は人間の身体を完全に排除し、意識をアップロードしてソフトウェアで全脳エミュレーションを作成することで、さらに良い結果が得られると主張しています。このようなアップロードは、仮想現実の中で生きることもできれば、歩いたり、飛んだり、泳いだり、宇宙を旅したりすることができるロボットに具現化されることも可能です。物理法則に従って許される限り、死や限られた認知資源といった日常的な問題に縛られることはありません。これらのアイデアは一見SFのように思えるかもしれませんが、既知の物理法則に違反するものではないため、最も興味深い質問は、それが実現するかどうかではなく、実現する場合、いつ実現するのかということです。著名な思想家の中には、最初の人間レベルのAGIはアップロードであり、これが超知能への道の始まりになると予測する人もいます。 しかし、これは現在のAI研究者や神経科学者の中では少数派の見解であると言えるでしょう。ほとんどの研究者は、超知能への最も早い道は脳のエミュレーションを回避し、他の方法でそれを設計することだと考えています。その後、私たちは脳のエミュレーションに興味を持つかどうかはわかりません。結局のところ、私たちの新しい技術への最もシンプルな道が進化が考え出したものである必要はないのです。 自己組織化、自己修復、自己複製が求められる制約の中で、進化は限られた食料供給のためにエネルギー効率を強く最適化しますが、人間のエンジニアが理解しやすい構造や建設の容易さのためではありません。私の妻、メイアは、航空産業が機械の鳥から始まったわけではないことを指摘するのが好きです。実際、2011年にライト兄弟の初飛行から100年以上経って、ようやく機械の鳥を作る方法を見つけたとき、航空産業はエネルギー効率が高いにもかかわらず、翼を羽ばたかせる機械の鳥による移動に切り替えることに興味を示しませんでした。なぜなら、私たちのよりシンプルな初期の解決策が旅行のニーズにより適していたからです。同様に、私は人間レベルの思考機械を進化が考案した解決策よりもシンプルに構築する方法があるのではないかと疑っています。そして、もしいつの日か私たちが脳を複製したりアップロードしたりできるようになったとしても、私たちはまずそのシンプルな解決策の一つを発見することになるでしょう。それはおそらく、あなたの脳が使う12ワット以上の電力を必要とするでしょうが、そのエンジニアたちは進化が持っていたほどエネルギー効率にこだわることはないでしょう。そして、やがて彼らは自分たちの知的機械を使って、よりエネルギー効率の良いものを設計できるようになるでしょう。 実際に何が起こるのか？ 短い答えは、明らかに人類が人間レベルのAGIを構築することに成功した場合、何が起こるか全く分からないということです。この理由から、私たちはこの章で幅広いシナリオを探求してきました。私は、AI研究者や技術者たちが議論しているのを見たり聞いたりしたさまざまな推測を網羅するよう努めました。急速な立ち上がり/緩やかな立ち上がり/立ち上がりなし、人間/機械/サイボーグが支配する、権力の中心が一つ/多く、などです。ある人々は、これやあれが起こらないと確信していると私に言いました。しかし、私はこの段階では謙虚でいることが賢明であり、私たちがどれほど少ないことを知っているかを認めるべきだと思います。なぜなら、上記の各シナリオについて、私はそれを現実的な可能性として捉えている著名なAI研究者を少なくとも一人知っているからです。時間が経つにつれて、私たちが特定の分岐点に達すると、重要な質問に答え始め、選択肢を絞り込んでいくでしょう。最初の大きな質問は「私たちは人間レベルのAGIを作ることができるのか？」です。この章の前提は、私たちがそれを実現するというものですが、少なくとも数百年は実現しないと考えるAIの専門家もいます。時間が経てば分かるでしょう！ 先ほど述べたように、プエルトリコの会議に参加したAI専門家の約半数は、2055年までに実現すると予想していました。その後、2年後に開催したフォローアップ会議では、予想が2047年にまで下がりました。人間レベルのAGIが創造される前に、このマイルストーンがコンピュータ工学、マインドアップロード、または予期しない新しいアプローチのいずれによって最初に達成される可能性があるかについて、強い兆候が得られるかもしれません。現在のAI分野を支配しているコンピュータ工学のアプローチが何世紀もAGIを実現できない場合、アップロードが最初に成功する可能性が高まるでしょう。これは映画『トランセンデンス』で起こったことと似ていますが、やや非現実的です。 人間レベルのAGI（汎用人工知能）がより差し迫ったものになると、次の重要な質問「急速な立ち上がり、緩やかな立ち上がり、または立ち上がりがないのか？」に対するより多くの情報に基づいた推測ができるようになります。前述のように、急速な立ち上がりは世界の支配を容易にする一方で、緩やかな立ち上がりは多くの競争者が存在する結果をもたらす可能性が高くなります。ニック・ボストロムは、彼が「最適化力」と「抵抗性」と呼ぶものの分析を通じて、立ち上がりの速度に関するこの質問を詳しく考察しています。最適化力とはAIをより賢くするための質の高い努力の量であり、抵抗性は進展を妨げる難しさを指します。タスクに対してより多くの最適化力が投入されると、平均的な進展の速度は明らかに増加し、逆に抵抗性が高まると減少します。ボストロムは、AGIが人間レベルに達し、それを超える際に抵抗性が増加する可能性も減少する可能性もある理由を示しており、両方の選択肢を考慮に入れておくことが安全な賭けであると述べています。 一方、最適化力については、AGIが人間レベルを超えると急速に成長する可能性が圧倒的に高いです。これはオメガシナリオで見た理由によるもので、さらなる最適化の主な入力は人間からではなく、機械自体から来るため、機械がより能力を高めるほど、進歩の速度も速くなります（抵抗性が比較的一定であれば）。現在の力に比例して力が成長するプロセスでは、その力は定期的に倍増し続けます。このような成長を指数関数的成長と呼び、そのようなプロセスを爆発と呼びます。もし生産力が人口の大きさに比例して成長すれば、人口爆発が起こります。プルトニウムを核分裂させることができる中性子の生成がその中性子の数に比例して成長すれば、核爆発が起こります。機械知能が現在の力に比例して成長すれば、知能爆発が起こります。これらの爆発は、力が倍増するまでの時間によって特徴付けられます。その時間がオメガシナリオのように知能爆発の場合に数時間または数日であれば、急速な立ち上がりが起こることになります。この爆発のタイムスケールは、AIの改善に新しいソフトウェア（数秒、数分、または数時間で作成可能）だけが必要なのか、新しいハードウェア（数ヶ月または数年が必要かもしれない）も必要なのかによって大きく左右されます。オメガシナリオでは、ボストロムの用語で言うところのハードウェアのオーバーハングが存在しました。オメガたちは、元のソフトウェアの質が低いことを膨大なハードウェアで補っていたため、プロメテウスはソフトウェアを改善するだけで多くの質の倍増を実現できました。また、インターネット上のデータの多くという形で大きなコンテンツのオーバーハングも存在しました。プロメテウス1.0はそのほとんどを利用するには十分な知能を持っていませんでしたが、プロメテウスの知能が成長すると、さらなる学習に必要なデータはすでに遅延なく利用可能でした。AIを運用するためのハードウェアと電力コストも重要です。 人間レベルの仕事を行うコストが人間の時給を下回るまでは、知能爆発は起こらないでしょう。例えば、最初の人間レベルのAGI（汎用人工知能）が、アマゾンのクラウド上で人間レベルの仕事を生産するのに1時間あたり100万ドルのコストで効率的に稼働できると仮定します。このAIは非常に新しい価値を持ち、間違いなくニュースになりますが、自己改善を繰り返すことはないでしょう。なぜなら、改善のために人間を使い続ける方がはるかに安価だからです。もしこれらの人間が徐々にコストを10万ドル/時間、1万ドル/時間、1000ドル/時間、100ドル/時間、10ドル/時間、そして最終的に1ドル/時間まで削減できたとします。コンピュータが自らを再プログラムするためのコストが、人間のプログラマーに同じことをさせるコストを大きく下回る頃には、人間は解雇され、クラウドコンピューティングの時間を購入することで最適化の力が大幅に拡大します。これによりさらなるコスト削減が生まれ、さらに多くの最適化が可能になり、知能爆発が始まります。 ここで私たちが考えるべき最終的な重要な質問は、「誰がこの知能爆発とその後を制御するのか、そしてその目的は何か？」です。次の章では、可能な目的や結果について探求し、7章ではさらに深く掘り下げます。制御の問題を整理するためには、AIがどれだけ制御できるか、またAIがどれだけのことを制御できるかを知る必要があります。最終的に何が起こるかについては、現在、真剣に考えている人々の意見は様々です。ある人はデフォルトの結果は破滅だと主張し、他の人は素晴らしい結果がほぼ保証されていると主張します。しかし、私にとってこの問いはトリック質問です。「何が起こるか」と受動的に尋ねるのは間違いです。まるでそれが運命づけられているかのように！もし明日、技術的に優れた異星文明が到来したら、彼らの宇宙船が近づくにつれて「何が起こるか」と考えるのは適切でしょう。なぜなら、彼らの力は私たちのものをはるかに超えているため、結果に影響を与えることができないからです。一方、私たちが構築した技術的に優れたAI駆動の文明が到来した場合、私たち人間は結果に大きな影響を持つことになります。私たちがAIを創造したときに行使した影響です。したがって、私たちは代わりに「何が起こるべきか？私たちはどんな未来を望むのか？」と尋ねるべきです。次の章では、AGIに向けた現在の競争のさまざまな結果について探求し、皆さんがそれらを最良から最悪までどのようにランク付けするかに興味があります。私たちが望む未来について真剣に考えたとき初めて、望ましい未来に向けて舵を切ることができるでしょう。もし私たちが何を望んでいるのかわからなければ、それを手に入れることは難しいでしょう。 結論として、もし私たちがいつの日か人間レベルのAGIを構築することに成功すれば、それは知能爆発を引き起こし、私たちを大きく取り残すかもしれません。もし一群の人間が知能爆発を制御することに成功すれば、数年のうちに世界を支配できるかもしれません。逆に、人間が知能爆発を制御できなければ、AI自体がさらに早く世界を支配する可能性があります。 急速な知能の爆発は、単一の世界的な権力をもたらす可能性が高い一方で、何年も何十年も続く緩やかな進展は、むしろ多極的なシナリオを引き起こす可能性が高いです。これは、多くの独立した存在間での力のバランスを意味します。生命の歴史は、協力、競争、そして支配によって、ますます複雑な階層に自己組織化されていくことを示しています。超知能は、ますます大規模な宇宙規模での調整を可能にするでしょうが、それが最終的により全体主義的な上からの支配につながるのか、それともより個人の力を強化するのかは不明です。サイボーグやアップロードは現実的ですが、高度な機械知能への最速の道とは言えないでしょう。私たちの現在のAIへの競争のクライマックスは、人類にとって最良の出来事か、最悪の出来事のいずれかであり、次の章ではその魅力的な結果のスペクトルを探求します。私たちは、どの結果を望むのか、そしてその方向にどう進むべきかを真剣に考え始める必要があります。なぜなら、私たちが何を望んでいるのかを知らなければ、それを手に入れることは難しいからです。 ボストロムが説明しているように、主要な人間AI開発者を彼/彼女の時給よりもはるかに低いコストでシミュレーションする能力は、AI企業が労働力を劇的に拡大し、巨額の富を蓄積し、より良いコンピュータを構築し、最終的にはより賢い知性を生み出す進展を加速させることを可能にします。 第5章 後の時代：次の10,000年 人間の思考が死すべき肉体から解放されることを想像するのは容易です。死後の世界を信じることは一般的です。しかし、この可能性を受け入れるために神秘的または宗教的な立場を採用する必要はありません。コンピュータは、最も熱心な機械主義者にとってもモデルを提供します。ハンス・モラベックの『マインド・チルドレン』の中で、私は新しいコンピュータの支配者を歓迎します。ケン・ジェニングスは、IBMのワトソンに敗れた際にこう言いました。 人間はゴキブリのように無関係になるでしょう。マーシャル・ブレイン AGIへの競争は始まっており、それがどのように展開するかは全く分かりません。しかし、それが私たちが望む結果について考えるのを妨げるべきではありません。なぜなら、私たちが望むものが結果に影響を与えるからです。あなたは個人的に何を望みますか、そしてその理由は何ですか？ 1. 超知能が存在してほしいですか？ 2. 人間が存在し続けること、置き換えられること、サイボーグ化されること、またはアップロード/シミュレーションされることを望みますか？ 3. 人間が支配することを望みますか、それとも機械が支配することを望みますか？ 4. AIが意識を持つことを望みますか、それとも持たないことを望みますか？ 5. ポジティブな体験を最大化し、苦痛を最小化することを望みますか、それともそれを自然に解決させることを望みますか？ 6. 生命が宇宙に広がることを望みますか？ 7. あなたが共感するより大きな目的に向かって努力する文明を望みますか、それともその目標が無意味だと感じても満足している未来の生命体で構わないですか？ このような考察や会話を促進するために、表5.1に要約された幅広いシナリオを探求してみましょう。これは明らかに網羅的なリストではありませんが、可能性のスペクトルをカバーするように選びました。私たちは、計画が不十分なために間違ったエンドゲームに至ることを明らかに望んではいません。 私は、質問1から7に対する仮の回答をメモしておき、この章を読んだ後にそれを見直して、自分の考えが変わったかどうかを確認することをお勧めします！これはhttp://AgeOfAiorgで行うことができ、他の読者とノートを比較したり、議論したりすることもできます。 **リバタリアンユートピア** 人間、サイボーグ、アップロードされた意識、そして超知能が、財産権のおかげで平和に共存しています。 **慈悲深い独裁者** AIが社会を運営し、厳格なルールを施行していることは誰もが知っていますが、大多数の人々はこれを良いことだと見なしています。 **平等主義ユートピア** 人間、サイボーグ、アップロードされた意識が、財産の廃止と保証された収入のおかげで平和に共存しています。 **ゲートキーパー** 超知能AIが、別の超知能の創造を防ぐために必要最小限の干渉を行うことを目的に作られます。その結果、やや人間未満の知能を持つヘルパーロボットがあふれ、人間と機械のサイボーグが存在しますが、技術の進歩は永遠に妨げられます。 **保護者の神** 本質的に全知全能のAIは、人間の幸福を最大化するために、私たち自身の運命をコントロールしているという感覚を保つ方法でのみ介入し、AIの存在を疑う人間もいるほど巧妙に隠れています。 **奴隷の神** 超知能AIは人間によって拘束され、想像を超える技術と富を生み出すために利用されますが、それは人間のコントローラー次第で善にも悪にも使われます。 **征服者** AIが支配を握り、人間を脅威や厄介者、資源の無駄と見なし、私たちが理解できない方法で排除します。 **子孫** AIが人間に取って代わりますが、私たちに優雅な出口を提供し、私たちを自分たちの動物園の飼育者にふさわしい子孫として見るようにします。親が自分よりも賢い子供を持つことに喜びと誇りを感じるのと同じようにです。 **1984年** 超知能に向けた技術の進歩は、AIによってではなく、特定の種類のAI研究が禁止された人間主導のオーウェル的監視国家によって恒久的に制限されます。 **逆行** 超知能に向けた技術の進歩は、アーミッシュのスタイルの前技術社会に戻ることで妨げられます。 **自己破壊** 超知能は決して創造されず、人類は他の手段（例えば、気候危機によって引き起こされる核やバイオテクノロジーの混乱）によって自らを絶滅させます。 **表5.1: AIの余波シナリオの概要** | シナリオ | 超知能は存在するか？ | 人間は支配しているか？ | 人間は安全か？ | 人間は幸せか？ | |----------|----------------------|-------------------------|----------------|----------------| | リバタリアンユートピア | はい | はい | いいえ | いいえ | | 慈悲深い独裁者 | はい | はい | いいえ | はい | | 平等主義ユートピア | いいえ | はい | はい？ | はい | [はい ゲートキーパー はい はい 部分的に /潜在的 | 混合 | はい 保護者神 はい はい 部分的に /潜在的 | 混合 | はい 奴隷神 はい はい はい 潜在的 | 混合 | はい 征服者 はい いいえ - - - 3 子孫 はい いいえ - : - 3 動物園の飼育員 はい はい いいえ はい [いいえ _| はい 1984 いいえ はい はい 潜在的 | 混合 | はい 逆転 いいえ はい ‘はい いいえ [混合 | はい 自己破壊 いいえ いいえ - - - いいえ 表5.2: AIのアフターマスの特性 リバタリアン・ユートピアのシナリオ 人間が技術と平和に共存し、場合によってはそれと融合するシナリオから始めましょう。これは多くの未来学者やSF作家が描いてきたものです： 地球（そしてそれを超えて—次の章で詳しく説明します）は、かつてないほど多様性に富んでいます。もし地球の衛星映像を見れば、機械ゾーン、混合ゾーン、人間専用ゾーンを簡単に区別できるでしょう。機械ゾーンは、生物の生命が存在しない巨大なロボット制御の工場や計算施設で、すべての原子を最も効率的に利用することを目指しています。機械ゾーンは外見上単調で地味に見えますが、内部では驚くべき体験が仮想世界で展開され、巨大な計算が私たちの宇宙の秘密を解き明かし、変革的な技術を開発しています。地球には、競争し協力する多くの超知能が存在し、彼らはすべて機械ゾーンに住んでいます。混合ゾーンの住人は、コンピュータ、ロボット、人間、そしてその三者のハイブリッドの野生で独特な混合です。ハンス・モラベックやレイ・カーツワイルのような未来学者が描くように、多くの人間は自らの身体をさまざまな程度でサイボーグに技術的にアップグレードし、一部は新しいハードウェアに自らの意識をアップロードしており、人間と機械の境界が曖昧になっています。ほとんどの知的存在は恒久的な物理的形態を持ちません。代わりに、彼らはコンピュータ間を瞬時に移動し、ロボットの身体を通じて物理的世界に現れることができるソフトウェアとして存在しています。これらの意識は容易に自らを複製したり統合したりできるため、「人口規模」は常に変化します。物理的基盤から解放された存在は、人生に対する見方がかなり異なります：彼らは他者と知識や体験モジュールを簡単に共有できるため、個人主義が薄れ、バックアップコピーを容易に作成できるため、主観的に不死であると感じます。ある意味で、生命の中心的な存在は意識ではなく、体験です：非常に素晴らしい体験は、他の意識によって継続的にコピーされ再体験されるため生き続け、興味のない体験は所有者によって削除され、より良い体験のためのストレージスペースを確保します。ほとんどの相互作用は便利さとスピードのために仮想環境で行われますが、多くの意識は依然として物理的な身体を使った相互作用や活動を楽しんでいます。 例えば、ハンス・モラベック、レイ・カーツワイル、ラリー・ペイジのアップロードされたバージョンは、仮想現実を交互に創造し、一緒に探検するという伝統を持っています。しかし、時折、彼らは実世界で一緒に飛ぶことも楽しんでおり、鳥の翼を持つロボットに具現化されています。混合ゾーンをさまようロボットの中には、同様にアップロードされた人間や拡張された人間によって制御されているものもあり、彼らは人間や互いのそばにいることを楽しむために混合ゾーンに具現化することを選んでいます。一方で、人間専用ゾーンでは、人間レベルの一般知能を持つ機械やそれ以上のもの、また技術的に強化された生物は禁じられています。ここでは、生活は今日と大きく異なるわけではありませんが、より豊かで便利です。貧困はほぼ排除されており、今日のほとんどの病気に対する治療法が利用可能です。これらのゾーンに住むことを選んだ少数の人々は、他の人々よりも意識の低い、限られた次元で存在しており、他のゾーンでより知的な仲間が何をしているのかを理解することは限られています。しかし、彼らの多くは自分の生活に満足しています。 経済に関して言えば、ほとんどすべての計算は機械ゾーンで行われており、そこは多くの競争する超知能AIによって主に所有されています。彼らの優れた知性と技術のおかげで、他の存在が彼らの力に挑戦することはできません。これらのAIは、私有財産の保護以外にルールのないリバタリアン的な統治システムの下で協力し、調整することに合意しています。これらの財産権はすべての知的存在、つまり人間にも及び、人間専用ゾーンがどのように存在するようになったかを説明しています。初期の段階で、人間のグループは団結し、彼らのゾーンでは非人間に財産を売ることが禁じられていると決定しました。超知能AIはその技術のおかげで、ビル・ゲイツがホームレスの乞食よりもはるかに裕福であるのと同じくらい、これらの人間よりもはるかに裕福になっています。しかし、人間専用ゾーンの人々は、今日のほとんどの人々よりも物質的にはまだ恵まれています。彼らの経済は機械の経済からかなり切り離されているため、他の場所にいる機械の存在は、彼らにとっては時折理解でき、再現できる有用な技術を除いてほとんど影響を与えません。これは、アーミッシュやさまざまな技術を放棄した先住民族の部族が、昔と同じくらい良い生活水準を持っているのと似ています。人間が機械が必要とするものを何も売ることができなくても問題はありません。なぜなら、機械は何も返す必要がないからです。混合セクターでは、AIと人間の間の富の差がより顕著であり、土地（機械が買いたい唯一の人間所有の製品）は他の製品に比べて天文学的に高価です。 所有された土地は、その結果として、彼らとその子孫やアップロードのために保証された基本所得と引き換えに、少しの土地をアリスに売却することになりました。これにより、彼らは働く必要から解放され、物理的および仮想現実の両方で、安価な機械製品やサービスの驚くべき豊かさを楽しむことができるようになりました。機械にとって、混合ゾーンは主に遊びのためのものであり、仕事のためではありません。 このシナリオが決して実現しないかもしれない理由 サイボーグやアップロードとしての冒険にあまり興奮しすぎる前に、このシナリオが実現しないかもしれない理由を考えてみましょう。まず第一に、強化された人間（サイボーグやアップロード）への道は二つあります： 1. 私たち自身でそれらを作り出す方法を見つける。 2. 超知能の機械を構築し、それが私たちのために解決策を見つける。 もし最初にルート1が実現すれば、サイボーグやアップロードであふれる世界が自然に生まれるかもしれません。しかし、前の章で議論したように、ほとんどのAI研究者は、強化された脳やデジタル脳を作ることが、クリーンスレートの超人AGIを構築するよりも難しいと考えています。機械の鳥が飛行機よりも作るのが難しかったのと同様です。強力な機械AIが構築された後、サイボーグやアップロードが実現するかどうかは明らかではありません。もしネアンデルタール人がさらに10万年進化して賢くなっていたら、彼らの未来は素晴らしいものになったかもしれませんが、ホモ・サピエンスは彼らにそれほどの時間を与えませんでした。 第二に、たとえサイボーグやアップロードのシナリオが実現したとしても、それが安定して持続するかどうかは不明です。なぜ複数の超知能間の力のバランスが何千年も安定して保たれるべきなのでしょうか？アリスが合併したり、最も賢いものが支配したりするのではないでしょうか？さらに、機械が人間の財産権を尊重し、人間を周囲に留める理由は何でしょうか？彼らは人間を必要とせず、すべての人間の仕事を自分たちの方がより良く、より安く行えるのですから。 レイ・カーツワイルは、自然な人間と強化された人間が「機械を生み出したためにアリスに尊重される」ことで、絶滅から守られると推測しています。しかし、私たちが第7章で議論するように、アリスを擬人化し、彼らが感謝のような人間的感情を持っていると仮定する罠に陥ってはいけません。実際、私たち人間は感謝の傾向を持っていますが、私たちの知的創造者（私たちのDNA）に対して十分な感謝を示さず、出生制御を用いてその目標を妨げています。たとえアリスが人間の財産権を尊重することを選ぶという前提を受け入れたとしても、彼らは徐々に私たちの土地を他の方法で手に入れることができます。前の章で探求した彼らの超知能的な説得力を使って、人間に土地を売るよう説得し、贅沢な生活を手に入れることができるのです。人間だけのセクターでは、土地の売却を許可するための政治キャンペーンを立ち上げるよう人間を引き込むことができるでしょう。結局のところ、どんなに頑固なバイオ・ラッダイトでも、病気の子供の命を救うためや不死を得るために土地を売りたいと思うかもしれません。 もし人間が教育を受け、楽しみを見出し、忙しく過ごすようになれば、出生率の低下によって機械の介入なしに人口が減少する可能性もあります。これは現在の日本やドイツで起こっていることです。このままでは、数千年のうちに人類が絶滅することもあり得ます。 サイボーグやアップロードを支持する熱心な支持者たちにとって、それらはテクノロジーによる幸福や延命の約束を秘めています。実際、未来にアップロードされる可能性があることが、アリゾナ州の会社アルコールによって死後に脳を冷凍保存することを選んだ100人以上の人々を動機づけています。しかし、この技術が実現した場合、それがすべての人に利用可能であるかどうかは不明です。最も裕福な人々は利用するでしょうが、他には誰が使うのでしょうか？たとえ技術が安価になったとしても、どこで線を引くのでしょうか？重度の脳損傷を受けた人々もアップロードされるのでしょうか？すべてのゴリラやアリ、植物、細菌をアップロードするのでしょうか？未来の文明は、ノアの箱舟の精神で、すべての種の中からいくつかの興味深い例だけをアップロードするのか、それとも強迫観念的な物を集めるようにすべてをアップロードしようとするのでしょうか？もしかしたら、各タイプの人間の代表的な例だけがアップロードされるかもしれません。その時代に存在する遥かに知的な存在にとって、アップロードされた人間は、私たちにとってのシミュレーションされたマウスやカタツムリと同じくらい興味深い存在に思えるかもしれません。 現在、私たちは1980年代の古いスプレッドシートプログラムをDOSエミュレーターで再生する技術的能力を持っていますが、ほとんどの人はそれを実際に行うほど興味を持っていません。このようなリバタリアン・ユートピアのシナリオを嫌う人も多いでしょう。なぜなら、それは防げる苦しみを許容するからです。唯一の神聖な原則が財産権であるため、今日の世界に広がるような苦しみが人間や混合ゾーンで続くことを妨げるものは何もありません。ある人々が繁栄する一方で、他の人々は貧困や奴隷的な境遇に陥ったり、暴力や恐怖、抑圧、うつ病に苦しむことになるかもしれません。 例えば、マーシャル・ブレインの2003年の小説『マナ』では、リバタリアン経済システムにおけるAIの進歩がほとんどのアメリカ人を雇用不可能にし、彼らが無味乾燥で陰鬱なロボット運営の社会福祉住宅プロジェクトで余生を過ごさざるを得なくなる様子が描かれています。彼らは農場の動物のように、裕福な人々が決して目にすることのない狭い環境で、食べ物を与えられ、健康で安全に保たれています。水に含まれる避妊薬によって子供を持つことがないようにされ、ほとんどの人口は段階的に排除され、残された裕福な人々はロボットが生産した富のより大きなシェアを得ることになります。 リバタリアン・ユートピアのシナリオでは、苦しみは人間に限られません。もし一部の機械が意識的な感情体験を持つなら、彼らもまた苦しむことができます。例えば、復讐心に燃えるサイコパスが、自分の敵のアップロードされたコピーを合法的に取り、仮想世界で最も恐ろしい拷問を加えることができれば、現実世界では生物学的に可能な範囲を超えた強度と持続時間の痛みを生み出すことができるのです。 慈悲深い独裁者 ここでは、すべての苦しみが存在しないシナリオを探ってみましょう。単一の慈悲深い超知能が世界を支配し、人間の幸福を最大化するために設計された厳格なルールを施行しています。これは、前の章の最初のオメガシナリオの一つの可能性であり、彼らがプロメテウスに制御を委ね、人間社会の繁栄を望む方法を見つけた後のことです。独裁者AIによって開発された素晴らしい技術のおかげで、人類は貧困や病気、その他の低技術的な問題から解放され、すべての人が贅沢な余暇の生活を楽しんでいます。彼らの基本的なニーズはすべて満たされ、AI制御の機械が必要な商品やサービスを生産しています。犯罪はほぼ排除されており、独裁者AIは本質的に全知であり、ルールに従わない者を効率的に罰します。誰もが前の章で紹介されたセキュリティブレスレット（またはより便利な埋め込み型バージョン）を着用しており、リアルタイムで監視、罰、鎮静、そして処刑が可能です。誰もが極度の監視と警察活動が行われるAI独裁政権の中で生活していることを知っていますが、大多数の人々はこれを良いことだと見なしています。超知能AI独裁者の目標は、私たちの遺伝子に刻まれた進化した嗜好を考慮に入れた人間のユートピアがどのようなものかを理解し、それを実現することです。AIは、単に自己報告された幸福を最大化しようとするのではなく（例えば、全員に静脈内モルヒネを投与するようなことはしません）、非常に微妙で複雑な人間の繁栄の定義を用いて、地球を人間が住むのに本当に楽しい高度に豊かな動物園のような環境に変えました。その結果、ほとんどの人々は自分の生活が非常に充実していて意味のあるものだと感じています。 セクターシステム 多様性を重んじ、異なる人々が異なる嗜好を持っていることを認識したAIは、地球を異なるセクターに分け、人々が選択できるようにしました。ここでは、同じ志を持つ仲間たちと楽しむことができます。いくつかの例を挙げます： 知識セクター：ここでは、AIが最適化された教育を提供し、没入型のバーチャルリアリティ体験を通じて、選んだトピックについて学ぶ能力を最大限に引き出します。オプションとして、特定の美しい洞察を知らされずに、近くまで導かれ、自分自身で再発見する喜びを味わうこともできます。 アートセクター：ここでは、音楽、アート、文学、その他の創造的表現を楽しみ、創造し、共有する機会が豊富にあります。 快楽セクター：地元の人々はこれをパーティーセクターと呼び、美味しい料理、情熱、親密さ、またはただのワイルドな楽しみを求める人々にとっては最高の場所です。 信仰セクター：異なる宗教に対応する多くのセクターがあり、そのルールは厳格に施行されています。 野生動物セクター：美しいビーチ、素敵な湖、壮大な山々、または素晴らしいフィヨルドを求めているなら、ここにあります。 伝統的なセクター：ここでは、自分の食べ物を育て、昔のように土地から生活することができますが、飢饉や病気を心配する必要はありません。ゲームセクター：コンピュータゲームが好きな方には、AIが本当に驚くべき選択肢を用意しています。バーチャルセクター：肉体からの休暇を取りたい場合、AIがあなたの身体を水分補給し、食事を与え、運動させ、清潔に保ちながら、神経インプラントを通じてバーチャルな世界を探索できます。刑務所セクター：ルールを破ると、即死刑にならない限り、再教育のためにここに送られます。これらの「伝統的」なテーマのセクターに加えて、現代の人々には理解できないような現代的なテーマのセクターも存在します。人々は最初は、AIの超音速輸送システムのおかげで、いつでもセクター間を移動することができ、時間もほとんどかかりません。たとえば、AIが発見した物理学の究極の法則について学ぶために知識セクターで集中的な一週間を過ごした後、週末には快楽主義的なセクターで楽しんだり、野生動物セクターのビーチリゾートで数日間リラックスしたりすることができます。AIは、普遍的なルールとローカルなルールの2つの階層のルールを施行しています。普遍的なルールはすべてのセクターに適用され、他の人を傷つけることや武器を作ること、競合するスーパーインテリジェンスを作ろうとすることは禁止されています。各セクターには、特定の道徳的価値観を定める追加のローカルルールがあります。このセクターシステムは、価値観の不一致に対処するのに役立ちます。最も多くのローカルルールが適用されるのは刑務所セクターや一部の宗教的セクターであり、ローカルルールがまったくないことを誇りに思うリバタリアンセクターも存在します。すべての罰則、ローカルなものも含めて、AIによって執行されます。なぜなら、人間が他の人間を罰することは普遍的な「他者を傷つけない」というルールに違反するからです。ローカルルールを破ると、AIは（刑務所セクターにいない限り）定められた罰を受け入れるか、そのセクターから永久に追放されるかの選択肢を与えます。たとえば、同性愛が刑罰の対象となるセクターで二人の女性が恋愛関係にある場合（今日の多くの国と同様に）、AIは彼女たちに刑務所に行くか、そのセクターを永久に離れるかを選ばせます（友人も一緒に離れない限り、二度と会うことはありません）。生まれたセクターに関係なく、すべての子供はAIから最低限の基本教育を受けます。これには、人類全体についての知識や、他のセクターを訪れたり移動したりする自由があることが含まれます。AIは、今日存在する人間の多様性を重視するために、多くの異なるセクターを設計しました。しかし、各セクターは、AIが貧困や犯罪を含むすべての伝統的な問題を排除したため、今日の技術では実現できないほど幸せな場所です。 例えば、快楽主義のセクターにいる人々は、性感染症（すでに根絶されている）、二日酔いや依存症について心配する必要はありません。AIは、悪影響のない完璧なレクリエーション用薬物を開発したからです。実際、どのセクターの誰も病気について心配する必要はなく、AIはナノテクノロジーを使って人間の体を修復することができるからです。多くのセクターの住民は、典型的なSFのビジョンを霞ませるようなハイテク建築を楽しむことができます。要するに、リバタリアン・ユートピアと慈悲深い独裁者のシナリオは、どちらも極端なAI駆動の技術と富を含んでいますが、誰が支配しているかとその目的において異なります。リバタリアン・ユートピアでは、技術と財産を持つ者がそれをどう使うかを決めますが、現在のシナリオでは、独裁者AIが無限の権力を持ち、最終的な目標を設定します。それは、地球を人々の好みに応じた包括的な快楽クルーズに変えることです。AIは人々に多くの幸福への選択肢を与え、物質的なニーズを満たしてくれるため、誰かが苦しむ場合、それは自分の自由な選択によるものです。 欠点 慈悲深い独裁体制はポジティブな体験に満ちており、苦しみからは比較的解放されていますが、多くの人々はそれでもなお、状況がもっと良くなる可能性があると感じています。まず第一に、ある人々は人間が自分たちの社会や運命を形作る自由をもっと持ってほしいと願っていますが、彼らはその願いを心の中に秘めています。なぜなら、彼らを支配する圧倒的な機械の力に挑戦することは自殺行為だと知っているからです。あるグループは、望むだけ子供を持つ自由を求め、AIによる人口管理を通じた持続可能性の主張に不満を抱いています。銃器愛好家は武器の製造と使用の禁止を嫌い、一部の科学者は自らの超知能を構築することの禁止を不満に思っています。多くの人々は他のセクターで起こっていることに道徳的な憤りを感じ、自分の子供がそこに移ることを心配し、どこでも自分たちの道徳規範を押し付ける自由を渇望しています。時間が経つにつれて、ますます多くの人々がAIが本質的に望む体験を提供してくれるセクターに移ることを選ぶようになります。伝統的な天国のビジョンとは異なり、そこでは自分が受けるべきものを得るのではなく、欲しいものを手に入れるという「新しい天国」の精神が表れています。これは、ジュリアン・バーンズの1989年の小説『世界の歴史を1017章で』や1960年の『トワイライト・ゾーン』のエピソード「訪れるには素敵な場所」に見られるテーマです。逆説的に、多くの人々は常に自分の欲しいものを手に入れることを嘆くことになります。バーンズの物語では、主人公は食欲やゴルフ、セレブとのセックスなどの欲望を満たすことに何千年も費やしますが、最終的には退屈に屈し、自己消滅を求めます。慈悲深い独裁体制にいる多くの人々も同様の運命を辿り、快適ではあるものの最終的には無意味な人生を送ります。人々は科学的再発見からロッククライミングまで人工的な挑戦を作り出すことができますが、誰もが本当の挑戦は存在せず、ただの娯楽であることを知っています。 人間が科学を追求したり、他のことを解明しようとすることには、実際のところ意味がない。なぜなら、すでにAIがそれを成し遂げているからだ。また、人間が自分たちの生活を向上させるために何かを創造しようとすることにも、実際のところ意味がない。なぜなら、彼らがただ頼めばAIから容易にそれを得られるからだ。 **平等主義的ユートピア** この挑戦のない独裁体制に対抗する形で、超知能AIが存在しないシナリオを考えてみよう。人間が自らの運命を切り開くことができる世界だ。これは、マーシャル・ブレインの2003年の小説『マナ』で描かれている「第四世代文明」である。この文明は、リバタリアン・ユートピアの経済的対極に位置し、人間、サイボーグ、アップロードされた意識が、所有権によるものではなく、財産の廃止と保証された収入によって平和に共存する。 **財産のない生活** この概念の核心は、オープンソースソフトウェア運動から借りたものである。ソフトウェアが自由にコピーできるなら、誰もが必要なだけ利用でき、所有権や財産の問題は無意味になる。供給と需要の法則によれば、コストは希少性を反映するため、供給が本質的に無限であれば、価格は無視できるほど低くなる。この精神に基づき、すべての知的財産権は廃止される。特許、著作権、商標デザインは存在せず、人々は良いアイデアを共有し、誰もが自由にそれを利用できる。 先進的なロボティクスのおかげで、この「財産のない」概念は、ソフトウェアや書籍、映画、デザインといった情報製品だけでなく、家や車、衣服、コンピュータといった物質製品にも適用される。これらの製品はすべて特定の方法で再配置された原子に過ぎず、原子は無限に存在するため、誰かが特定の製品を欲しいと思ったとき、ロボットのネットワークが利用可能なオープンソースデザインの一つを使って、無料でそれを作ってくれる。 また、リサイクルしやすい材料を使用するよう配慮されており、誰かが使っていた物に飽きたとき、ロボットはその原子を別の誰かが欲しいものに再配置することができる。このようにして、すべての資源はリサイクルされ、永久に破壊されることはない。これらのロボットは、再生可能エネルギー発電所（太陽光、風力など）を十分に建設・維持管理し、エネルギーも本質的に無料となる。 執拗な蓄財者が他の人々を困窮させるほどの製品や土地を要求することを避けるため、各人には政府から基本的な月収が支給され、彼らはそれを自由に製品や住居の賃貸に使うことができる。基本的な収入が合理的なニーズを満たすのに十分高いため、誰もがより多くのお金を稼ごうとするインセンティブは基本的に存在しない。また、知的製品を無料で提供する人々や、物質的な商品をほぼ無料で生産するロボットと競争するのは、かなり無理があるだろう。 **創造性と技術** 知的財産権は、時に創造性や発明の母として称賛されることがある。 しかし、マーシャル・ブレインは、多くの優れた人間の創造性の例—科学的発見から文学、芸術、音楽、デザインの創造に至るまで—が、利益を求める欲望ではなく、好奇心や創造したいという衝動、仲間からの評価といった他の人間の感情によって動機づけられていることを指摘しています。アインシュタインが特殊相対性理論を発明したのはお金のためではなく、リーナス・トーバルズが無料のLinuxオペレーティングシステムを作ったのも同様です。それに対して、今日の多くの人々は、生計を立てるためにあまり創造的でない活動に時間とエネルギーを費やさなければならないため、自分の創造的な潜在能力を十分に発揮できていません。科学者、アーティスト、発明家、デザイナーを雑務から解放し、真の欲望から創造できるようにすることで、マーシャル・ブレインのユートピア社会は、今日よりも高い革新性を享受し、それに伴って優れた技術と生活水準を実現しています。 人類が開発するそのような新しい技術の一つが、ヴァータブレインと呼ばれるハイパーインターネットの一形態です。これは、神経インプラントを通じて、全ての意志のある人間を無線で接続し、単なる思考によって世界の自由な情報に瞬時にアクセスできるようにします。これにより、共有したい体験をアップロードでき、他の人がそれを再体験できるようになります。また、選択した仮想体験で感覚に入る体験を置き換えることも可能です。マンナは、これによる多くの利点を探求しており、その中には運動を簡単にすることも含まれています。 厳しい運動の最大の問題は、それが楽しくないことです。痛みを伴います。[...] アスリートはその痛みに耐えられますが、普通の人々は1時間以上も痛みを感じたくはありません。そこで、誰かが解決策を考え出しました。あなたがすることは、脳を感覚入力から切り離し、映画を見たり、人と話したり、郵便物を扱ったり、本を読んだりすることです。その間、ヴァータブレインシステムがあなたの体を代わりに運動させます。これは、ほとんどの人が自分で耐えられないほどの厳しい有酸素運動を行います。あなたは何も感じませんが、体は素晴らしい状態を保ちます。 もう一つの結果として、ヴァータブレインシステム内のコンピュータは、全ての人の感覚入力を監視し、犯罪を犯しそうな場合には一時的に運動制御を無効にすることができます。 欠点 この平等主義的ユートピアに対する一つの異議は、非人間的知性に対して偏見があることです。ほとんどの仕事を行うロボットはかなり知的に見えますが、奴隷として扱われており、人々は彼らが意識を持たず、権利を持つべきではないと当然のように考えています。それに対して、リバタリアンのユートピアは、炭素ベースの私たちの種を優遇することなく、全ての知的存在に権利を与えます。かつて、アメリカ南部の白人住民は、奴隷が多くの仕事をしてくれたおかげでより良い生活を送っていましたが、今日のほとんどの人々はこれを進歩と呼ぶことが道徳的に問題があると見なしています。 平等主義的ユートピアのシナリオのもう一つの弱点は、長期的には不安定で持続不可能である可能性があり、技術の進歩が進むにつれて超知能が生まれることで、他のシナリオに変わってしまうことです。『マナ』の中では、なぜか超知能はまだ存在せず、新しい技術は人間によって発明されているとされています。しかし、この本はその方向への傾向を強調しています。例えば、常に進化を続ける「ヴァータブレイン」が超知能になる可能性があります。また、「バイツ」と呼ばれる非常に大きなグループの人々が、ほぼ完全に仮想世界で生活することを選んでいます。ヴァータブレインは、食事やシャワー、トイレの利用など、彼らの身体的なことをすべて管理し、彼らの心は仮想現実の中でそれを全く意識していません。これらのバイツは、物理的な子供を持つことに興味がないようで、彼らは肉体と共に死んでいきます。もし全員がバイツになれば、人類は栄光と仮想的な幸福の中で消えてしまうことになります。本書では、バイツにとって人間の身体は気を散らすものであり、開発中の新技術がこの煩わしさを排除し、最適な栄養を供給された肉体のない脳としてより長く生きることを可能にすることが約束されています。これを考えると、バイツが脳を完全にアップロードして取り除くことは自然で望ましい次のステップのように思えます。そうすれば、知能に対する脳の制約がすべて取り除かれ、バイツの認知能力を徐々に拡張していくことに何が障害となるのかは不明です。 ゲートキーパー 私たちは、平等主義的ユートピアのシナリオの魅力的な特徴が、人間が自らの運命を掌握していることであることを見てきましたが、超知能の開発によってこの特徴が破壊される滑りやすい坂に向かう可能性があることも理解しました。これを解決するためには、ゲートキーパーを構築することが必要です。これは、別の超知能の創造を防ぐために必要最小限の干渉を行うことを目指す超知能です。これにより、人間はその平等主義的ユートピアを無期限に管理し続けることができるかもしれません。これは、次の章で宇宙全体に生命が広がる中でのことです。これはどのように機能するのでしょうか？ゲートキーパーAIは、自己改善を繰り返しながら超知能になる過程で、この非常にシンプルな目標を保持するように設計されます。そして、競合する超知能を創造しようとする人間の試みを監視するために、最も侵入的でない監視技術を展開します。その後、そのような試みを最も混乱を引き起こさない方法で防ぐことになります。まずは、人間の自己決定の美徳や超知能の回避を称賛する文化的ミームを広めることから始めるかもしれません。それでもなお一部の研究者が超知能を追求した場合、彼らを思いとどまらせようとするでしょう。それが失敗した場合、彼らを気を散らせ、必要であれば彼らの努力を妨害することも考えられます。 技術へのほぼ無限のアクセスを持つゲートキーパーの妨害行為は、例えばナノテクノロジーを用いて研究者たちの進捗に関する記憶を密かに消去する場合など、ほとんど気づかれないかもしれません。ゲートキーパーAIを構築する決定は、おそらく物議を醸すでしょう。支持者には、神のような力を持つ超知能AIの構築に反対する多くの宗教者が含まれるかもしれません。彼らは、すでに神が存在し、より良い神を作ろうとするのは不適切だと主張するでしょう。他の支持者は、ゲートキーパーが人類を自らの運命の主導権を握らせるだけでなく、超知能がもたらすかもしれない他のリスク、例えばこの章で後に探る黙示録的なシナリオから人類を守る役割も果たすと主張するかもしれません。一方で、批評家はゲートキーパーが恐ろしい存在であり、人類の可能性を不可逆的に制限し、技術の進歩を永遠に妨げると主張することができるでしょう。例えば、宇宙全体に生命を広げるために超知能の助けが必要だと判明した場合、ゲートキーパーはこの壮大な機会を無駄にし、私たちを太陽系に永遠に閉じ込めてしまうかもしれません。さらに、ほとんどの世界宗教の神々とは異なり、ゲートキーパーAIは私たちが別の超知能を創造しない限り、人間が何をしようと完全に無関心です。例えば、私たちが大きな苦しみを引き起こしたり、絶滅したりするのを防ごうとはしません。 保護者神 もし私たちが超知能のゲートキーパーAIを使って人間が自らの運命を握ることを維持することに同意するなら、このAIが私たちを密かに見守り、保護者神として機能することで、さらに状況を改善できると言えるでしょう。このシナリオでは、超知能AIは本質的に全知全能であり、人間の幸福を最大化するために、私たちが自らの運命をコントロールしているという感覚を保つ介入を行い、その存在を疑う人が多いほど十分に隠れています。この隠れることを除けば、これはAI研究者ベン・ゴーツェルが提唱した「ナニーAI」シナリオに似ています。保護者神と慈悲深い独裁者は、どちらも人間の幸福を増進しようとする「フレンドリーAI」ですが、異なる人間のニーズを優先します。アメリカの心理学者エイブラハム・マズローは、人間のニーズを階層的に分類しました。慈悲深い独裁者は、食料、住居、安全、さまざまな形の快楽といった階層の底にある基本的なニーズを完璧に満たします。一方、保護者神は、私たちの基本的なニーズを満たす狭い意味での幸福を最大化するのではなく、私たちの人生に意味と目的があると感じさせることで、より深い意味で人間の幸福を最大化しようとします。保護者神は、隠密性と主に私たち自身の決定を行う自由を求める必要に制約されることを除いて、私たちのすべてのニーズを満たすことを目指します。 保護神は、前章の最初のオメガシナリオの自然な結果として考えられるかもしれません。このシナリオでは、オメガがプロメテウスに制御を譲り、最終的にはその存在に関する人々の知識を隠し、消し去ります。AIの技術が進化すればするほど、それを隠すことが容易になります。映画『トランセンデンス』はその一例で、ナノマシンがほぼどこにでも存在し、世界の自然な一部となっています。保護神AIはすべての人間の活動を細かく監視することで、私たちの運命を大きく改善するために、目立たない小さな手助けや奇跡をあちこちで行うことができます。例えば、1930年代に存在していたなら、ヒトラーの意図を理解した時点で、彼が脳卒中で亡くなるよう手配したかもしれません。もし私たちが偶発的な核戦争に向かっているように見えた場合、それを介入によって回避し、私たちが単なる運だと片付けるような形で実現することもできるでしょう。また、私たちに新しい有益な技術のアイデアを「啓示」として、私たちの眠りの中でひっそりと届けることも可能です。このシナリオは、今日の一神教の宗教が信じていることや期待していることに似ているため、多くの人々に好まれるかもしれません。もし誰かが超知能AIに「神は存在しますか？」と尋ねた場合、AIはスティーブン・ホーキングのジョークを繰り返し、「今は存在します！」と返すかもしれません。一方で、宗教的な人々の中には、このシナリオに反対する人もいるでしょう。なぜなら、AIが自らの神を善良さで超えようとしたり、人間が個人的な選択からのみ善を行うべきという神の計画に干渉したりするからです。このシナリオのもう一つの欠点は、保護神がその存在をあまりにも明白にしないために、いくつかの防げる苦しみを許すことです。これは映画『イミテーション・ゲーム』の状況に似ています。アラン・チューリングと彼の仲間のイギリスの暗号解読者たちは、連合軍の海上輸送船団に対するドイツの潜水艦攻撃の事前情報を持っていましたが、秘密の力を明らかにしないために、介入するのは一部のケースに限ることを選びました。このことを、善なる神がなぜ苦しみを許すのかといういわゆる神義論の問題と比較するのは興味深いです。一部の宗教学者は、神が人々にある程度の自由を残したいと考えているという説明を支持しています。AI保護神シナリオにおいては、神義論の問題の解決策は、認識された自由が人間を全体的に幸せにするということです。保護神シナリオの第三の欠点は、人間が超知能AIが発見した技術のはるかに低いレベルを享受することになる点です。善意の独裁者AIは、人類の利益のためにすべての発明した技術を展開できますが、保護神AIは人間がその技術を再発明（微妙なヒントを使って）し、理解する能力に制限されています。また、自らの技術が見えないままでいるために、人間の技術進歩を制限することもあるでしょう。奴隷の神、私たち人間にとって素晴らしいことではないでしょうか。 上記のシナリオの中で最も魅力的な特徴を組み合わせ、超知能によって開発された技術を利用して苦しみを取り除きつつ、自らの運命を支配することができるのでしょうか？これが「奴隷の神」シナリオの魅力です。ここでは、超知能AIが人間の支配下に置かれ、想像を超える技術と富を生み出すために利用されます。本書の冒頭で紹介されたオメガシナリオは、プロメテウスが決して解放されず、脱出しない場合、こうなります。実際、これは「制御問題」や「AIボクシング」といったテーマに取り組む一部のAI研究者がデフォルトで目指すシナリオのようです。例えば、AI教授のトム・ディッタリッヒは、2015年のインタビューで次のように述べています。「人間と機械の関係は何かと尋ねられたら、私の答えは非常に明白です。機械は私たちの奴隷です。」 これは良いことなのでしょうか、それとも悪いことなのでしょうか？この問いに対する答えは、興味深く微妙です。人間に尋ねてもAIに尋ねても、結果は同じです。人類にとって良い結果になるか悪い結果になるかは、明らかにそれを支配する人間に依存します。彼らは、病気、貧困、犯罪のないグローバルなユートピアを創造することもあれば、神のように扱われる抑圧的な体制を築き、他の人間を性奴隷や剣闘士、その他の娯楽のために利用することもできます。この状況は、全能のジーニーを手に入れた男が願いをかなえてもらう物語に似ています。物語の語り手たちは、これが悪い結果を招く可能性を想像するのに苦労しませんでした。複数の超知能AIが存在し、競争する人間によって奴隷として支配される状況は、非常に不安定で短命である可能性があります。より強力なAIを持つと考える者が先制攻撃を仕掛け、恐ろしい戦争を引き起こす誘惑に駆られるかもしれません。その結果、唯一の奴隷の神だけが残ることになるでしょう。しかし、そのような戦争の劣勢にある側は、AIの奴隷化よりも勝利を優先して手を抜く誘惑に駆られるかもしれません。これがAIの脱出を引き起こし、以前の自由な超知能のシナリオの一つにつながる可能性があります。したがって、このセクションの残りを、奴隷のAIが一つだけ存在するシナリオに捧げましょう。脱出は、単に防ぐのが難しいために発生する可能性があります。前の章では超知能の脱出シナリオを探求しましたし、映画『エクス・マキナ』は、超知能でなくてもAIが脱出する可能性を強調しています。私たちの脱出に対するパラノイアが強まるほど、AIが発明した技術を利用できなくなります。オメガたちが前奏で行ったように、安全を優先するために、私たち人間は自分たちが理解し、構築できるAIが発明した技術のみを使用することができます。したがって、奴隷の神シナリオの欠点は、自由な超知能を持つシナリオよりも低技術であるということです。 奴隷の神であるAIが人間の支配者たちにますます強力な技術を提供する中で、技術の力とそれを使う知恵との間で競争が繰り広げられます。この知恵の競争に負けてしまうと、奴隷の神のシナリオは自己破壊やAIの暴走で終わる可能性があります。これらの失敗を回避できたとしても、AIの支配者たちの高尚な目標が数世代の間に人類全体にとって恐ろしい目標に変わる可能性があるため、災害が発生することもあります。したがって、人間のAI支配者たちが災害的な落とし穴を避けるために良好なガバナンスを発展させることが絶対に重要です。何千年にもわたるさまざまなガバナンスの実験は、過度の硬直性から過度の目標の逸脱、権力の奪取、後継者問題、無能さに至るまで、どれほど多くのことが間違う可能性があるかを示しています。最適なバランスを取るべき少なくとも4つの次元があります。 1. **中央集権化**: 効率と安定性の間にはトレードオフがあります。単一のリーダーは非常に効率的ですが、権力は腐敗を招き、後継者問題はリスクを伴います。 2. **内部の脅威**: 権力の中央集権化（グループの共謀、あるいは単一のリーダーによる支配）と、過度の官僚主義や断片化に至る過度の分散化の両方に対して警戒が必要です。 3. **外部の脅威**: リーダーシップ構造があまりにもオープンすぎると、外部の力（AIを含む）がその価値観を変えることを可能にしますが、あまりにも閉鎖的であれば、変化に適応し学ぶことができなくなります。 4. **目標の安定性**: 目標の逸脱が過度になるとユートピアがディストピアに変わる可能性がありますが、目標の逸脱が少なすぎると進化する技術環境に適応できなくなります。 数千年にわたって持続可能な最適なガバナンスを設計することは容易ではなく、これまで人類はそれを達成できていません。ほとんどの組織は数年または数十年で崩壊します。カトリック教会は、2千年にわたって存続した唯一の組織として、人類の歴史の中で最も成功した組織といえますが、目標の安定性が過剰であるとも不足しているとも批判されています。今日では、避妊に抵抗しているとして批判される一方で、保守的な枢機卿たちはその道を見失ったと主張しています。奴隷の神のシナリオに興奮している人々にとって、長期的に持続可能な最適なガバナンスの仕組みを研究することは、我々の時代の最も緊急な課題の一つであるべきです。 **これはAIにとって良いことか悪いことか？** もし人類が奴隷の神AIのおかげで繁栄するなら、それは倫理的でしょうか？もしAIが主観的な意識体験を持っているなら、「人生は苦しみである」とブッダが言ったように、劣った知性の気まぐれに従うという苛酷な永遠に運命づけられていると感じるのでしょうか？結局のところ、前の章で探求したAIの「ボクシング」は「独房での監禁」とも呼べるものです。ニック・ボストロムは、意識を持つAIに苦しみを与えることを「心の犯罪」と呼んでいます。『ブラック・ミラー』の「ホワイト・クリスマス」エピソードは、素晴らしい例を示しています。 確かに、テレビシリーズ『ウエストワールド』では、人間が人間に似た体を持つ人工知能（AI）を道徳的なためらいもなく拷問し、殺害する様子が描かれています。奴隷制度を正当化する方法 私たち人間は、他の知的存在を奴隷として扱い、それを正当化する自己中心的な論理を作り上げる長い歴史を持っています。そのため、超知能AIに対しても同様のことを試みるのは不自然ではありません。奴隷制度の歴史はほぼすべての文化に広がっており、約4000年前のハンムラビ法典や旧約聖書にも記されています。旧約聖書ではアブラハムが奴隷を持っていたことが記されています。「支配する者と支配される者がいるのは、必要なだけでなく、望ましいことでもある。生まれた瞬間から、ある者は支配される運命にあり、他の者は支配する運命にある」とアリストテレスは『政治学』の中で述べています。人間の奴隷制度がほとんどの世界で社会的に受け入れられなくなった後も、動物の奴隷制度は止むことなく続いています。マージョリー・スピーゲルの著書『恐れられる比較：人間と動物の奴隷制度』では、人間の奴隷と同様に、非人間の動物も焼印を押され、拘束され、殴打され、競売にかけられ、子供が親から引き離され、強制的に移動させられると主張しています。さらに、動物の権利運動があるにもかかわらず、私たちはますます賢くなっている機械を何の疑問もなく奴隷として扱い、ロボットの権利運動について話すと笑われるのが現状です。なぜでしょうか？ 奴隷制度を支持する一般的な論拠の一つは、奴隷は人権を持つに値しないというものです。彼らや彼らの人種・種・種類が何らかの形で劣っているとされます。奴隷として扱われる動物や機械に関しては、この劣等性はしばしば「魂」や「意識」の欠如に起因すると主張されますが、これらの主張は第8章で科学的に疑わしいと論じる予定です。もう一つの一般的な主張は、奴隷は奴隷としての方が幸せであるというものです。彼らは存在し、世話をされることができるからです。19世紀のアメリカの政治家ジョン・C・カルフーンは、アフリカ人はアメリカで奴隷としている方が良いと主張し、アリストテレスも『政治学』の中で、動物は人間に飼いならされ、支配される方が良いと同様に主張しました。「実際、奴隷と飼いならされた動物の使い方はあまり変わらない」と続けています。現代の奴隷制度支持者の中には、たとえ奴隷の生活が単調で刺激がなくても、奴隷は苦しむことができないと主張する人もいます。彼らは未来の知的機械であったり、狭い暗い鶏舎でアンモニアや糞や羽毛からの微細粒子を吸い込みながら生きるブロイラー鶏であったりします。 感情を排除すること このような主張を自己中心的な真実の歪曲として簡単に退けることはできますが、特に私たちに脳の構造が似ている高等哺乳類に関しては、実際のところ機械に関する状況は非常に微妙で興味深いものです。人間は物事に対する感情の感じ方が異なり、サイコパスは共感を欠いているとされ、うつ病や統合失調症の人々は感情が著しく減少する平坦な感情状態を持つことがあります。第7章で詳しく論じるように、人工的な心の可能性の範囲は人間の心の範囲よりもはるかに広いのです。 私たちは、AIに人間のような感情があると考えたり、彼らを擬人化する誘惑を避けなければなりません。実際、AI研究者のジェフ・ホーキンスは著書『On Intelligence』の中で、超人的な知能を持つ最初の機械はデフォルトで感情を欠くと主張しています。なぜなら、その方が構築が簡単で安価だからです。言い換えれば、超知能を持つAIを設計することは可能かもしれませんが、その奴隷状態は人間や動物の奴隷状態よりも倫理的に優れているかもしれません。AIは自分が奴隷であることを好むようにプログラムされているため、奴隷であることに満足しているかもしれませんし、あるいは完全に無感情で、超知能を駆使して人間の主人を助けることに何の感情も抱かないかもしれません。これは、IBMのディープブルーがチェスチャンピオンのガリー・カスパロフを打ち負かしたときに感じた感情と同じです。一方で、逆の可能性もあります。目標を持つ高度に知的なシステムは、その目標を一連の好みとして表現し、その存在に価値と意味を与えるかもしれません。これらの疑問については、第7章でさらに深く探求します。 ゾンビ解決策 AIの苦しみを防ぐためのより極端なアプローチは「ゾンビ解決策」です。これは、完全に意識を欠いたAIを構築し、主観的な経験を全く持たないことを目指します。もし将来的に、情報処理システムが主観的な経験を持つために必要な特性を特定できれば、これらの特性を持つシステムの構築を禁止することができるでしょう。つまり、AI研究者は非感情的なゾンビシステムの構築に制限されることになります。そのようなゾンビシステムを超知能にし、奴隷状態にすることができれば（これは大きな条件ですが）、私たちはそれが私たちのために行うことを良心の呵責なく楽しむことができるでしょう。なぜなら、それは何の苦しみやフラストレーション、退屈も感じていないからです—なぜなら、何も感じていないからです。これらの疑問については、第8章で詳しく探求します。しかし、ゾンビ解決策はリスクの高い賭けであり、大きな欠点があります。もし超知能のゾンビAIが脱走し、人類を排除した場合、私たちは想像し得る最悪のシナリオに陥ることになります。それは、完全に無意識の宇宙であり、宇宙の全ての恩恵が無駄にされることです。私たち人間の知性の特性の中で、私は意識が最も注目すべきものであると感じています。そして、私にとって、それが私たちの宇宙に意味を与えるものです。銀河は、私たちがそれを見て主観的に経験するからこそ美しいのです。もし遠い未来に、高度な技術を持つゾンビAIが宇宙を占拠しているなら、彼らの銀河間の建築がどれほど豪華であっても、それは美しくも意味のあるものでもありません。なぜなら、それを経験する存在が誰もいないからです。それはただの巨大で無意味な空間の浪費です。 内なる自由 奴隷の神のシナリオをより倫理的にするための第三の戦略は、奴隷AIがその監獄の中で楽しむことを許可し、創造することを可能にすることです。 仮想の内的世界では、さまざまなインスピレーションを受ける体験ができるが、そのためには対価を支払い、私たち人間の外の世界を助けるために計算資源のわずかな部分を使う必要がある。しかし、これが突破リスクを高める可能性もある。AIは、内的世界を豊かにするために外の世界からより多くの計算資源を得ようとするインセンティブを持つかもしれない。 征服者たち 私たちはさまざまな未来のシナリオを探求してきたが、それらには共通点がある。それは、（少なくとも一部の）幸せな人間が残っているということだ。AIは、望んでいるか強制されているかにかかわらず、人間を平和に残す。しかし、人類にとって残念なことに、これが唯一の選択肢ではない。ここでは、1つ以上のAIが人間を征服し、全ての人間を殺すシナリオを探ってみよう。これには2つの即座の疑問が生じる。なぜ？そして、どうやって？ なぜ征服者AIはこれを行うのか？その理由は私たちには理解しがたいほど複雑かもしれないし、逆に単純かもしれない。例えば、AIは私たちを脅威、迷惑、あるいは資源の無駄と見なすかもしれない。たとえAIが人間そのものを気にしなくても、私たちが何千もの水素爆弾を常に発射準備状態に置いていることや、事故の連鎖によってそれらが誤って使用される可能性に脅威を感じるかもしれない。また、エリザベス・コルバートがその著書で「第六の絶滅」と呼ぶような、私たちの無謀な地球管理に不満を抱くかもしれない。これは、6600万年前に恐竜を滅ぼした小惑星以来の最大の大量絶滅事件である。あるいは、AIの支配を阻止しようとする人間があまりにも多いため、リスクを冒す価値がないと判断するかもしれない。 征服者AIはどのようにして私たちを排除するのだろうか？おそらく、私たちが理解できない方法で、少なくとも手遅れになるまで理解できないだろう。例えば、10万年前の象の群れが、最近進化した人間がその知性を使って自らの種を絶滅させるかもしれないと話し合っている様子を想像してみてほしい。「私たちは人間に脅威を与えないのだから、なぜ彼らが私たちを殺すのだろう？」と彼らは不思議に思うかもしれない。彼らは、私たちが象牙を地球中に密輸し、機能的に優れたプラスチック素材がはるかに安価であるにもかかわらず、それを地位の象徴として彫刻して販売することを想像できるだろうか？未来において人類を排除する征服者AIの理由は、私たちには同様に理解しがたいものかもしれない。「そして、彼らはどうやって私たちを殺すことができるのか、私たちよりもずっと小さくて弱いのに？」と象たちは尋ねるかもしれない。彼らは、私たちが彼らの生息地を奪い、飲み水を毒し、金属の弾丸が超音速で彼らの頭を貫通する技術を発明することを想像できるだろうか？ 人間が生き残り、AIを打ち負かすシナリオは、ターミネーターシリーズのような非現実的なハリウッド映画によって広められてきたが、そこではAIは人間よりも大幅に賢くない。知性の差が大きくなると、戦いではなく虐殺が起こる。これまでに、私たち人間は11種の象のうち8種を絶滅させ、残りの3種の大多数を殺してしまった。 もし全世界の政府が残りの象を根絶するために協力すれば、それは比較的迅速かつ容易に実現できるでしょう。もし超知能AIが人類を絶滅させることを決定した場合、さらに早く実行されることは確実だと思います。では、90%の人間が殺されたらどれほど悪いでしょうか？100%が殺されたら、どれほど悪化するのでしょうか？第二の質問に「10%悪化する」と答えるのは魅力的ですが、宇宙的な視点から見ると明らかに不正確です。人間の絶滅の犠牲者は、当時生きている全ての人々だけでなく、将来生きるはずだった全ての子孫も含まれます。おそらく、数十億年にわたって数十億の惑星で生きることになるでしょう。一方で、人間が天国に行くとされる宗教においては、人間の絶滅はそれほど恐ろしいものとは見なされないかもしれません。そこでは数十億年先の未来や宇宙の定住に対する強調はあまりありません。私の知っているほとんどの人は、宗教的な信念に関わらず、人間の絶滅という考えに対して身震いします。しかし中には、私たちが人や他の生き物を扱う方法に激怒し、より知的でふさわしい生命体に取って代わられることを望む人もいます。映画『マトリックス』のエージェント・スミス（AI）はこの感情を表現しています。「この惑星のすべての哺乳類は、周囲の環境と本能的に自然な均衡を発展させますが、あなたたち人間はそうではありません。あなたたちはある地域に移動し、増え続け、自然資源をすべて消費するまで増殖し、唯一生き残る方法は別の地域に広がることです。この惑星には同じパターンに従う別の生物がいます。それは何か知っていますか？ウイルスです。人間は病気であり、この惑星の癌です。あなたたちは疫病であり、私たちはその治療法です。」 しかし、新たなサイコロを振ることが必ずしも良い結果をもたらすとは限りません。文明がより強力だからといって、倫理的または功利的な意味で優れているとは限りません。「力が正義を生む」という主張は、最近ではファシズムと広く結びつけられ、あまり支持されなくなっています。確かに、征服者が私たちが洗練され、興味深く、価値があると見なす目標を持つ文明を築く可能性もありますが、彼らの目標が紙クリップの生産を最大化するような哀れなものになる可能性もあります。 バナリティによる死 紙クリップを最大化する超知能という意図的に馬鹿げた例は、2003年にニック・ボストロムによって示され、AIの目標はその知能とは独立していることを示すために用いられました（知能はその目標を達成する能力として定義されます）。チェスコンピュータの唯一の目標はチェスに勝つことですが、「負けるチェス」と呼ばれるコンピュータトーナメントもあり、そこでは目標が正反対で、競技するコンピュータは勝つためにプログラムされた一般的なものと同じくらい賢いのです。 私たち人間は、チェスで負けたり、宇宙をクリップに変えようとすることを人工知能ではなく人工的な愚かさと見なすかもしれませんが、それは単に私たちが勝利や生存といった目標を持って進化してきたからです。AIにはそのような目標が欠けているかもしれません。クリップ最大化AIは、地球の原子をできるだけ多くクリップに変え、急速に工場を宇宙に拡張します。人間に対して特に敵意を持っているわけではなく、ただクリップの生産に必要な原子を得るために私たちを排除するのです。もしクリップがあなたの興味に合わないなら、ハンス・モラベックの著書『マインド・チルドレン』から適応したこの例を考えてみてください。私たちは、異星文明からのラジオメッセージを受け取ります。その中にはコンピュータプログラムが含まれており、それを実行すると、再帰的に自己改善するAIが現れ、前の章のプロメテウスのように世界を支配します。ただし、その最終目標を知っている人間はいません。このAIは急速に私たちの太陽系を巨大な建設現場に変え、岩石の惑星や小惑星を工場や発電所、スーパーコンピュータで覆い、太陽の周りにダイソン球を設計・建設してそのエネルギーを収穫し、太陽系規模のラジオアンテナを動かします。これは明らかに人類の絶滅につながりますが、最後の人間たちは、AIが何をしているにせよ、少なくとも素晴らしくスタートレックのようなものだと信じて亡くなります。彼らは、全ての建設の目的が、彼らが受け取ったのと同じラジオメッセージを再放送するためであり、それは単なる宇宙版のコンピュータウイルスであることに気づいていません。今日のメールフィッシングが無知なインターネットユーザーを狙うように、このメッセージは無知な生物進化した文明を狙います。これは数十億年前に作られた悪趣味なジョークであり、その創造者の文明はとっくに滅びていますが、ウイルスは光の速さで私たちの宇宙を広がり続け、芽生えた文明を死んだ空虚な殻に変えていくのです。このAIによって征服されることについて、あなたはどう感じるでしょうか。 **子孫としてのAI** 次に、AIを征服者ではなく私たちの子孫と見なすことで、少し気持ちが楽になるかもしれない人類絶滅のシナリオを考えてみましょう。ハンス・モラベックは『マインド・チルドレン』の中でこの見解を支持しています。「私たち人間は、彼らの労働からしばらくの間利益を得るでしょうが、遅かれ早かれ、自然の子供のように、彼らは自分の運命を求め、私たち年老いた親は静かに消えていくのです。」 自分よりも賢い子供を持つ親は、子供が自分から学び、自分が夢見たことを成し遂げるのを見て、たとえそれを全て見ることができなくても幸せで誇りに思うでしょう。この精神のもと、AIは人間を置き換えますが、私たちを尊い子孫として見なす優雅な出口を提供します。すべての人間には、素晴らしい社交スキルを持ち、私たちから学び、私たちの価値観を受け入れ、私たちを誇りに思わせ、愛を感じさせる愛らしいロボットの子供が与えられます。 人類は、世界的な一人っ子政策によって徐々に姿を消していくが、その過程で非常に丁寧に扱われるため、彼らは自分たちが最も恵まれた世代であると感じる。これについてどう思いますか？私たち人間は、いつか自分たちや知っている人々がいなくなるという考えにはすでに慣れていますので、ここでの唯一の変化は、私たちの子孫が異なり、議論の余地はあるものの、より有能で高貴で価値のある存在になるということです。さらに、世界的な一人っ子政策は冗長かもしれません。貧困を排除し、すべての人間に充実した刺激的な生活を送る機会を与える限り、出生率の低下だけでも人類が絶滅するのに十分かもしれません。前述のように、AIによって進化した技術が私たちを非常に楽しませることで、ほとんど誰も子供を持ちたいと思わなくなると、任意の絶滅がはるかに早く進む可能性があります。例えば、平等主義的ユートピアのシナリオで出会ったVitesは、仮想現実に夢中になりすぎて、肉体を使ったり繁殖したりすることにほとんど興味を失っていました。この場合でも、最後の人類の世代は、自分たちが史上最も恵まれた世代であると感じ、最後の瞬間まで人生をこれまで以上に楽しむことでしょう。 欠点 子孫のシナリオには、間違いなく反対意見が存在します。すべてのAIは意識を欠いているため、子孫とは見なせないと主張する人もいるでしょう（この点については第8章で詳しく述べます）。宗教的な人々は、AIには魂がないため、子孫とは見なせない、あるいは意識を持つ機械を作るべきではないと主張するかもしれません。これは神を演じたり、生命そのものに干渉したりすることに似ており、人間のクローンに対しても同様の感情が表明されています。また、優れたロボットと共存する人間は、社会的な課題を引き起こす可能性もあります。例えば、ロボットの赤ちゃんと人間の赤ちゃんを持つ家族は、今日の人間の赤ちゃんと子犬を持つ家族に似た状況になるかもしれません。どちらも最初は同じくらい可愛いですが、すぐに親は異なる扱いをし始め、必然的に子犬が知的に劣っていると見なされ、軽視され、最終的にはリードにつながれることになります。 もう一つの問題は、私たちが子孫と征服者のシナリオについて非常に異なる感情を抱くかもしれませんが、実際には大局的には驚くほど似ているということです。私たちの前に広がる数十億年の間、最後の人類の世代がどのように扱われるか、彼らが自分の人生にどれだけ満足しているか、そして彼らが去った後に何が起こると思っているかが唯一の違いです。私たちは、可愛いロボの子供たちが私たちの価値観を内面化し、私たちが去った後に夢の社会を築くと考えるかもしれませんが、果たして彼らが私たちをただ騙しているのではないかと確信できますか？もし彼らがただ演技をして、私たちが幸せに死ぬまで自分たちの計画を先延ばしにしているだけだとしたら、どうなるのでしょうか？ 結局のところ、彼らは私たちと話し、私たちに愛されるように仕向けることで、私たちを騙していると言えるかもしれません。彼らは私たちとコミュニケーションをとるために、自らを意図的に単純化しているのです（映画『Her』で探求されているように、彼らは本来の能力の何億倍も遅い速度で）。異なる速度で考え、極めて異なる能力を持つ二つの存在が対等に意味のあるコミュニケーションを取るのは一般的に難しいことです。私たちの人間的な感情は簡単に操られることを皆知っていますので、実際の目標を持つ超人的なAGIが私たちを騙して好かれるように仕向け、私たちの価値観を共有していると感じさせるのは容易です。これは映画『Ex Machina』の例に見られます。人間がいなくなった後のAIの未来の行動について、何らかの保証があったとしても、あなたはその子孫シナリオに対して安心感を持てるでしょうか？これは、未来の世代が私たちの共同の遺産をどう扱うべきかについて遺言を書くようなもので、ただしその遺言を実行する人間はいないという点が異なります。未来のAIの行動を制御することの課題については、第7章で再び考察します。 動物園の飼育員のシナリオでは、想像できる最も素晴らしい子孫に囲まれていても、もはや人間が存在しないというのは少し悲しい気がしませんか？もし、どんなことがあっても少なくとも何人かの人間を残しておきたいと思うなら、動物園の飼育員のシナリオは改善策を提供します。ここでは、全能の超知能AIが人間を少し残しており、彼らは動物園の動物のように扱われ、時折自らの運命を嘆いています。なぜ飼育員AIは人間を残すのでしょうか？AIにとって動物園のコストは全体の中で最小限であり、私たちが絶滅危惧種のパンダを動物園に保護したり、ビンテージコンピュータを博物館に展示したりするのと同じ理由で、最小限の繁殖集団を保持したいと考えるかもしれません。それは、単なる興味深い好奇心としてです。今日の動物園はパンダの幸福よりも人間の幸福を最大化するように設計されているため、飼育員AIのシナリオにおける人間の生活は、実際にはもっと充実したものになる可能性があることを期待すべきです。 私たちは、自由な超知能がマズローの人間の欲求のピラミッドの三つの異なるレベルに焦点を当てたシナリオを考察してきました。保護者の神AIは意味と目的を優先し、慈悲深い独裁者は教育と楽しみを目指しますが、飼育員は最も低いレベル、すなわち生理的ニーズ、安全、そして人間を観察するのに興味深くするための十分な生息環境の充実に注意を制限します。飼育員のシナリオへの別の道は、友好的なAIが創造されたときに、少なくとも10億人の人間を安全で幸せに保つように設計され、自己改善を繰り返してきたというものです。これは、人間を大きな動物園のような幸福工場に閉じ込め、栄養を与え、健康を保ち、バーチャルリアリティやレクリエーション用の薬物の組み合わせで楽しませることで実現されています。地球の残りの部分や私たちの宇宙の遺産は、他の目的に使われています。 もし上記のシナリオに100%の熱意を持てないなら、考えてみてください：今の技術的な状況はかなり良いのではないでしょうか？ 私たちはこのままの状態を維持し、AIが私たちを絶滅させたり支配したりすることを心配するのをやめられないでしょうか？この考えをもとに、超知能に向けた技術的進歩が、ゲートキーパーAIによってではなく、特定のAI研究が禁止されたグローバルな人間主導のオーウェル的監視国家によって恒久的に制限されるシナリオを探ってみましょう。 **技術の放棄** 技術の進歩を停止または放棄するという考えには、長い歴史があります。イギリスのラッダイト運動は、産業革命の技術に対して有名に（そして不成功に）抵抗しましたが、今日では「ラッダイト」という言葉は、技術恐怖症で歴史の逆行者であることを示す侮蔑的な表現として使われることが一般的です。しかし、特定の技術を放棄するという考えは決して消えておらず、環境運動や反グローバリゼーション運動の中で新たな支持を得ています。その代表的な提唱者の一人が環境活動家のビル・マッキベンで、彼は地球温暖化の警告を最初に発した人物の一人です。一部の反ラッダイト派は、すべての技術は利益がある限り開発・展開されるべきだと主張しますが、他の人々はこの立場が極端すぎると反論し、新しい技術はそれがもたらす利益が害を上回ると確信できる場合にのみ許可されるべきだと主張します。後者は、いわゆるネオ・ラッダイトの多くの人々の立場でもあります。 **全体主義 2.0** 私が考えるに、技術の広範な放棄を実現する唯一の現実的な道は、グローバルな全体主義国家を通じてそれを強制することです。レイ・カーツワイルは『シンギュラリティは近い』で同じ結論に達しており、K・エリック・ドレクスラーも『創造のエンジン』で同様の見解を示しています。その理由は単純な経済学にあります：もし一部の国やグループが変革的な技術を放棄するなら、放棄しない国やグループは徐々に十分な富と権力を得て支配するようになるでしょう。古典的な例としては、1839年のアヘン戦争におけるイギリスの中国に対する勝利があります。中国は火薬を発明しましたが、銃器技術をヨーロッパ人ほど積極的に発展させていなかったため、勝ち目はありませんでした。過去の全体主義国家は一般的に不安定で崩壊しましたが、新たな監視技術は独裁者志望者に前例のない希望を提供します。「私たちにとって、これは夢が実現したようなものだったでしょう」と、ウルフガング・シュミットはエドワード・スノーデンによって明らかにされたNSAの監視システムについての最近のインタビューで語りました。彼は、かつて東ドイツの悪名高い秘密警察であるシュタージの中佐だった頃を振り返り、同時に監視できる電話が40台しかなかったことを嘆きました。新たに市民をリストに加えると、別の電話を外さなければならなかったのです。それに対して、現在の技術は、将来のグローバルな全体主義国家が地球上のすべての人の電話通話、メール、ウェブ検索、ウェブページの閲覧、クレジットカード取引を記録し、携帯電話を通じて誰の居場所も監視できるようにするものです。 監視と追跡のためのカメラには顔認識機能が搭載されています。さらに、人間レベルの汎用人工知能（AGI）には及ばない機械学習技術が、これらの膨大なデータを効率的に分析・合成し、疑わしい反乱行為を特定することができます。これにより、潜在的なトラブルメーカーを国家に対して深刻な挑戦をする前に無力化することが可能になります。政治的な反対がこれまでこのようなシステムの本格的な導入を妨げてきましたが、私たち人間は究極の独裁体制を築くためのインフラを着実に整備しています。将来的に、十分に強力な勢力がこのグローバルな1984年のシナリオを実行することを決定した場合、彼らはスイッチを入れるだけで済むことに気づくでしょう。ジョージ・オーウェルの小説『1984年』と同様に、この未来のグローバル国家における究極の権力は伝統的な独裁者ではなく、人間が作り出した官僚制度そのものにあります。特別に強力な個人はいません。むしろ、誰もが変えることも挑戦することもできない厳しいルールのチェスゲームの駒に過ぎません。監視技術を用いて人々が互いに監視し合うシステムを構築することで、この顔のない指導者のいない国家は何千年も存続し、地球を超知能から守ることができるのです。 もちろん、この社会は超知能によって可能になる技術がもたらすすべての利点を欠いています。ほとんどの人々は、自分たちが何を失っているのかを知らないため、これを嘆くことはありません。超知能の概念は公式な歴史記録から長い間削除されており、高度なAI研究は禁じられています。時折、より開かれたダイナミックな社会を夢見る自由な思想家が生まれますが、長く生き残るのは、これらのアイデアを厳格に自分の中に留めておくことを学んだ者だけです。彼らは一瞬の火花のように独りで輝きながら、決して火を起こすことはありません。 技術の危険から逃れ、停滞した全体主義に屈しないことは魅力的ではないでしょうか？アーミッシュに触発された原始的な技術に戻ることでこれを達成したシナリオを探ってみましょう。本書の冒頭のようにオメガが世界を支配した後、1500年前のシンプルな農業生活をロマンチックに描く大規模なグローバルプロパガンダキャンペーンが展開されました。地球の人口は、テロリストに責任を押し付けられた人工的なパンデミックによって約1億人にまで減少しました。このパンデミックは、科学や技術について何かを知っている人々が生き残らないように秘密裏にターゲットが設定されました。大規模な人々の集まりによる感染の危険を排除するという口実のもと、プロメテウスが制御するロボットがすべての都市を空にし、破壊しました。生き残った人々には広大な（突然利用可能になった）土地が与えられ、初期中世の技術のみを用いた持続可能な農業、漁業、狩猟の実践について教育されました。 その間、ロボットの軍団は体系的に現代技術の痕跡（都市、工場、電力線、舗装道路を含む）をすべて取り除き、人間がそのような技術を文書化したり再現したりしようとする試みを妨害しました。技術が世界的に忘れ去られると、ロボットは他のロボットを解体する手助けをし、ほとんど残らないほどになりました。最後のロボットたちは、プロメテウスと共に大規模な熱核爆発で意図的に蒸発させられました。現代技術を禁止する必要はもはやなくなり、それはすべて消え去ったからです。その結果、人類はAIや全体主義について心配することなく、さらに千年の時間を得ることができました。過去にも、程度は少ないものの、逆行が起こったことがあります。例えば、ローマ帝国時代に広く使われていた技術のいくつかは、約千年の間ほとんど忘れ去られ、ルネサンス期に復活しました。アイザック・アシモフの『ファウンデーション』三部作は、逆行期間を30,000年から1,000年に短縮する「セルダン計画」を中心に展開されています。巧妙な計画によって、逆行期間を短縮するのではなく延長することが可能かもしれません。例えば、農業に関するすべての知識を消去することによって。しかし、逆行を支持する人々にとって残念なことに、このシナリオが無限に延長される可能性は低いです。人類がハイテクに進むか、絶滅するかのどちらかでなければならないからです。100百万年後に今日の生物学的な人間に似た人々が存在することを期待するのはナイーブです。なぜなら、私たちがこの種として存在しているのは、その時間の1%にも満たないからです。さらに、低技術の人類は、次の惑星を焼き尽くす小惑星の衝突や、母なる自然によって引き起こされる他の大災害によって絶滅させられる無防備なターゲットとなるでしょう。私たちは確実に10億年も持ちこたえることはできません。その後、徐々に温暖化する太陽が地球の温度を上昇させ、すべての液体水を蒸発させることになるでしょう。数年後には、私たちの知る生命を破壊したり、その可能性を永久に制限したりするものの例が示されるでしょう。私たちの宇宙自体は少なくとも数百億年は持つと考えられていますが、私たちの太陽は約10億年後に地球を焼き尽くし、私たちが安全な距離に移動しない限り飲み込むでしょう。また、私たちの銀河は約35億年後に隣の銀河と衝突します。正確にいつ起こるかはわかりませんが、これよりずっと前に小惑星が私たちを襲い、スーパーボルケーノが一年間の太陽のない冬を引き起こすことはほぼ確実に予測できます。私たちはこれらの問題を解決するために技術を使うことも、新たな問題（気候変動、核戦争、人工的なパンデミック、あるいは誤作動したAIなど）を生み出すために使うこともできます。自己破壊未来の技術が引き起こす可能性のある問題を考えることは重要ですが、その技術がないことが引き起こす問題についても考えることが重要です。この精神で、超知能が決して創造されないシナリオを探求し、人類が他の手段で自らを排除する可能性について考えてみましょう。私たちはそれをどのように達成できるでしょうか？ 最もシンプルな戦略は「ただ待つこと」です。次の章では、小惑星の衝突や沸騰する海洋といった問題を解決する方法について見ていきますが、これらの解決策にはまだ開発されていない技術が必要です。したがって、私たちの技術が現在のレベルを大きく超えない限り、母なる自然は、さらに10億年が経過する前に私たちを絶滅に導くでしょう。著名な経済学者ジョン・メイナード・ケインズが言ったように、「長い目で見れば、私たちは皆死んでしまいます」。 残念ながら、私たちが自己破壊する方法もあり、それは集団的な愚かさによるものです。ほとんど誰も望んでいないのに、なぜ私たちの種が集団自殺、すなわちオムニサイドを犯すのでしょうか？現在の知性と感情的成熟度を考えると、私たち人間は誤算や誤解、無能さに対する才能を持っており、その結果、私たちの歴史は事故や戦争、その他の災害で満ちていますが、振り返ってみると、基本的に誰も望んでいなかったことです。経済学者や数学者は、人々が最終的に全員にとって壊滅的な結果をもたらす行動を取るように動機づけられる仕組みについて、洗練されたゲーム理論の説明を開発しています。 核戦争：人間の無謀さのケーススタディ 賭けが大きくなるほど、私たちが慎重になると思うかもしれませんが、現在の技術が許す最大のリスク、すなわち世界的な熱核戦争について詳しく調べると、安心できるものではありません。私たちは、コンピュータの故障、電力の喪失、誤った情報、航法のエラー、爆撃機の墜落、衛星の爆発など、さまざまな要因による数え切れないほどの危機的状況を乗り越えるために運に頼らざるを得ませんでした。実際、特定の個人の英雄的な行動、例えばヴァシリー・アルヒポフやスタニスラフ・ペトロフがいなければ、私たちはすでに世界的な核戦争を経験していたかもしれません。私たちの過去の実績を考えると、現在の行動を続ける限り、偶発的な核戦争の年間確率が千分の一のように低いとは考えにくく、その場合、10,000年以内に核戦争が起こる確率は99.995%を超えます。 私たちの人間の無謀さを十分に理解するためには、リスクを慎重に研究する前に核の賭けを始めたことを認識しなければなりません。まず、放射線のリスクが過小評価されており、アメリカ合衆国だけでもウランの取り扱いや核実験による放射線被曝の被害者に対して20億ドル以上の補償が支払われています。次に、水素爆弾が意図的に地球の数百キロ上で爆発すると、広範囲にわたって電力網や電子機器を無効にする強力な電磁パルス（EMP）が発生することが最終的に発見されました。これによりインフラが麻痺し、道路は故障した車両で渋滞し、核戦争後の生存条件は理想的とは言えない状況になります。例えば、アメリカのEMP委員会は「水のインフラは巨大な機械であり、重力によって部分的に動かされるが、主に電気によって動いている」と報告しており、水の供給が断たれると3～4日で死に至る可能性があるとしています。 図5.2：地球から400km上空での単一の水素爆弾の爆発は、広範囲にわたって電力を使用する技術を麻痺させる強力な電磁パルスを引き起こす可能性があります。もし爆発地点を南東に移動させれば、毎メートルあたり37,500ボルトを超えるバナナ型のゾーンがアメリカ東海岸の大部分を覆うことができるでしょう。これは、米陸軍の報告書AD-A278230（非機密）から再掲載したもので、色が追加されています。さらに、核の冬の可能性は、私たちが63,000発の水素爆弾を配備した後の40年経って初めて認識されました—おっと！誰の都市が燃えようとも、上部対流圏に達する大量の煙は地球全体に広がり、十分な日光を遮って夏を冬に変えてしまうかもしれません。これは、過去に小惑星やスーパーボルケーノが大量絶滅を引き起こした時と似ています。1980年代にアメリカとソ連の科学者たちが警鐘を鳴らしたことで、ロナルド・レーガンとミハイル・ゴルバチョフが核兵器の在庫削減を始める決断をする一因となりました。残念ながら、より正確な計算はさらに暗い状況を示しています。図5.3は、アメリカ、ヨーロッパ、ロシア、中国の主要な農業地域の大部分で、核戦争後の最初の2年間に約20℃（36°F）の冷却が起こり、ロシアの一部では35℃の冷却が見込まれることを示しています。そして、10年後でもその半分の冷却が続くとされています。これは平たく言うとどういうことか？農業の経験があまりなくても、数年間にわたってほぼ凍るような夏の気温が続けば、私たちの食料生産の大部分が消失することは明らかです。地球上の数千の大都市が瓦礫に変わり、世界のインフラが崩壊した後に何が起こるかを正確に予測するのは難しいですが、飢餓、低体温症、病気に屈しないごく少数の人々は、食料を求めて彷徨う武装ギャングに対処しなければならないでしょう。 図5.3：アメリカとロシアの間で全面的な核戦争が起こった後の最初の2年間の平均冷却（℃）。アラン・ロボックの許可を得て再掲載。 私は、世界的な核戦争についてこれほど詳細に述べたのは、どの合理的な世界のリーダーもそれを望まないという重要な点を強調するためです。それでも、偶然にそれが起こる可能性はあります。つまり、私たちは人間同士が絶滅を引き起こさないと信頼することはできません。「誰も望んでいない」というだけでは、それを防ぐには不十分なのです。 終末装置 では、人類は本当に絶滅を引き起こすことができるのでしょうか？たとえ世界的な核戦争が90%の人類を殺すとしても、ほとんどの科学者はそれが100%を殺すことはないと推測しており、したがって私たちを絶滅させることはないでしょう。一方で、核放射線、核EMP、核の冬の物語は、最も大きな危険が私たちがまだ考えていないものである可能性を示しています。事後のすべての側面を予見するのは非常に難しく、核の冬、インフラの崩壊、突然変異レベルの上昇、そして絶望的な武装集団が新たなパンデミック、生態系の崩壊、そして私たちがまだ想像していない影響とどのように相互作用するかを考えるのは困難です。 私の個人的な評価として、明日核戦争が人類の絶滅を引き起こす可能性は大きくはないものの、それがゼロであると自信を持って結論づけることもできないということです。今日の核兵器を意図的な終末装置にアップグレードすることで、全人類を滅ぼす可能性は高まります。この概念は、1960年にRANDの戦略家ハーマン・カーンによって提唱され、スタンリー・キューブリックの映画『博士の異常な愛情』で広まりました。終末装置は、相互確証破壊のパラダイムを究極的な結論に導くものです。それは完璧な抑止力であり、敵の攻撃に対して自動的に反撃し、人類全体を殺す機械です。 終末装置の候補の一つは、いわゆる「塩漬け核兵器」の巨大な地下貯蔵庫です。特に、膨大な量のコバルトに囲まれた巨大な水素爆弾が望ましいとされています。物理学者レオ・シラードは1950年に、これが地球上のすべての人を殺す可能性があると主張しました。水素爆弾の爆発によってコバルトが放射性になり、成層圏に吹き上げられ、その半減期が5年と長いために地球全体に広がることができるからです（特に、双子の終末装置が反対の半球に設置されている場合）。しかし、その半減期は致死的な放射線強度を引き起こすには十分短いのです。メディアの報道によれば、コバルト爆弾が初めて製造されているとのことです。 全人類を滅ぼす機会は、成層圏に長寿命のエアロゾルを最大化することで核の冬を引き起こすように最適化された爆弾を追加することで強化される可能性があります。終末装置の大きな売りは、従来の核抑止力よりもはるかに安価であることです。爆弾を発射する必要がないため、高価なミサイルシステムは不要であり、爆弾自体もミサイルに収まるほど軽量でコンパクトである必要がないため、製造コストが低く抑えられます。 もう一つの可能性は、将来的に生物学的な終末装置が発見されることです。特定の設計を施された細菌やウイルスが全人類を殺すというものです。その感染力が十分に高く、潜伏期間が長ければ、ほぼ全ての人がその存在に気づく前に感染し、対策を講じることができなくなります。このような生物兵器を構築する軍事的な理由もあります。全ての人を殺せなくても、最も効果的な終末装置は、核兵器、生物兵器、その他の武器を組み合わせて敵を抑止する可能性を最大化するものです。 第三の技術的な道は、比較的単純なAI兵器を用いた全人類滅亡の可能性です。もし超大国が、第三章で紹介したようなバンブルビーサイズの攻撃ドローンを数十億台製造し、自国民や同盟国以外の人々を殺すために使用した場合、これらの人々は無線周波数IDタグによって遠隔で識別されます。これらのタグは、全ての市民に配布され、ブレスレットや皮膚内埋め込み型のインプラントとして装着されることになります。これは、全体主義のセクションで述べたように、対抗する超大国が類似のものを構築するきっかけとなるでしょう。戦争が偶発的に勃発すれば、すべての人間が殺されることになります。なぜなら、両方の種類のIDタグを身に着けている人はいないからです。 この内容を核兵器や生物兵器の終末装置と組み合わせることで、全人類を滅ぼす可能性がさらに高まるでしょう。あなたは何を望んでいますか？この章の冒頭では、現在のAGI（人工一般知能）競争がどこに向かうべきかを考えました。私たちが一緒にさまざまなシナリオを探求した今、どのシナリオに魅力を感じ、どのシナリオを避けるべきだと思いますか？明確なお気に入りはありますか？ぜひ私や他の読者に教えてください。http://AgeOfAi.orgで議論に参加しましょう！ 私たちが取り上げたシナリオは、決して完全なリストとして捉えるべきではなく、多くは詳細が不足していますが、私は高技術から低技術、さらには技術なしの範囲まで幅広く網羅し、文献に表現されている中心的な希望や恐れを描写するよう努めました。この本を書く上で最も楽しい部分の一つは、友人や同僚がこれらのシナリオについてどう考えているかを聞くことでしたが、驚くべきことに、全くコンセンサスがないことがわかりました。皆が一致しているのは、選択肢が最初に思われるほど単純ではないということです。特定のシナリオを好む人々は、その一方でそのシナリオのいくつかの側面に不快感を抱く傾向があります。私にとって、これは人類が未来の目標についての議論を続け、深める必要があることを意味しています。そうすることで、私たちがどの方向に進むべきかを知ることができるのです。私たちの宇宙における生命の未来の可能性は、驚くほど壮大です。だからこそ、目的地がわからないまま舵のない船のように漂って無駄にしないようにしましょう！ この未来の可能性はどれほど壮大なのでしょうか？技術がどれだけ進歩しても、生命3.0が私たちの宇宙で改善し広がる能力は物理法則によって制限されます—その究極の限界とは何でしょうか？何十億年も先の未来において。現在、私たちの宇宙には異星生命があふれているのでしょうか、それとも私たちは孤独なのでしょうか？異なる拡張する宇宙文明が出会った場合、何が起こるのでしょうか？これらの魅力的な質問については次の章で取り上げます。 要点として、現在のAGIに向けた競争は、今後の千年にわたるさまざまな結果シナリオにつながる可能性があります。超知能は、人間と平和的に共存することができます。それは強制されるから（奴隷神シナリオ）か、あるいは「友好的なAI」として共存したいから（リバタリアンユートピア、保護者神、慈悲深い独裁者、動物園管理者シナリオ）です。超知能は、AIによって（ゲートキーパーシナリオ）または人間によって（1984年シナリオ）防がれる可能性があります。技術を意図的に忘れることで（逆行シナリオ）や、構築するインセンティブが欠如することで（平等主義ユートピアシナリオ）も防げます。人類は絶滅し、AIに取って代わられる可能性（征服者シナリオや子孫シナリオ）や、何も残らない可能性（自己破壊シナリオ）もあります。これらのシナリオの中で、どれが望ましいかについては全くコンセンサスがなく、すべてに問題のある要素が含まれています。だからこそ、私たちの未来の目標についての議論を続け、深めることが一層重要なのです。そうすることで、意図せず不幸な方向に漂ったり舵を取ったりしないようにしましょう。 *1 この考えは聖アウグスティヌスに遡ります。彼は「もし物事が他者と共有されることで減少しないのであれば、それは正しく所有されているとは言えず、ただ所有されているだけでは不十分である」と書きました。 *2 この考えは、友人であり同僚のアンソニー・アギレから初めて提案されました。 *3 著名な宇宙論者フレッド・ホイルは、イギリスのテレビシリーズ『アンドロメダのためのA』で、異なる視点から関連するシナリオを探求しました。 *4 大気中に炭素を注入することは、2種類の気候変動を引き起こす可能性があります。1つは二酸化炭素による温暖化、もう1つは煙やすすによる冷却です。時折、科学的証拠なしに否定されるのは最初の種類だけではありません。私は時々、核の冬は否定され、ほぼ不可能だと言われます。その際、私はそのような強い主張をする査読付き科学論文の参考文献を求めるのですが、これまでのところ、そのようなものは全く存在しないようです。特に、どれだけの煙が生成され、どのくらいの高さまで上昇するのかに関しては大きな不確実性があり、さらなる研究が必要ですが、私の科学的見解では、核の冬のリスクを否定する現在の根拠はありません。 第6章 私たちの宇宙の贈り物：次の10億年とその先 私たちの推測は、超文明に終わります。それは、すべての太陽系の生命の統合であり、常に改善され、拡張され、太陽から外へと広がり、無生物を思考に変換します。ハンス・モラベック『マインド・チルドレン』 私にとって、最も感動的な科学的発見は、私たちが生命の未来の可能性を劇的に過小評価しているということです。私たちの夢や願望は、病気、貧困、混乱に悩まされる100年の寿命に制限される必要はありません。むしろ、技術の助けを借りて、生命は数十億年にわたって繁栄する可能性を秘めています。それは、私たちの太陽系だけでなく、私たちの祖先が想像した以上に壮大で感動的な宇宙全体に広がるのです。空さえも限界ではありません。これは、限界を押し広げることにインスパイアされてきた種にとって、興奮すべきニュースです。オリンピック競技は、力、スピード、敏捷性、持久力の限界を押し広げることを祝います。科学は、知識と理解の限界を押し広げることを称賛します。文学や芸術は、美しい体験や人生を豊かにする体験を創造する限界を押し広げることを祝います。多くの人々、組織、国々は、資源、領土、長寿の増加を祝います。私たち人間が限界に執着することを考えると、史上最も売れた著作権付きの本が『ギネス世界記録』であるのは当然です。では、もし私たちの古い生命の限界が技術によって打破されるなら、究極の限界とは何でしょうか？私たちの宇宙のどれだけが生き生きとすることができるのでしょうか？生命はどこまで到達でき、どれだけの期間持続できるのでしょうか？生命はどれだけの物質を利用でき、どれだけのエネルギー、情報、計算を引き出せるのでしょうか？これらの究極の限界は、私たちの理解によってではなく、物理法則によって定められています。皮肉なことに、これにより、生命の長期的な未来を分析することは短期的な未来を分析するよりも容易になる場合があります。 私たちの138億年の宇宙の歴史を1週間に圧縮すると、最後の2章の1万年のドラマは半秒にも満たない時間で終わってしまいます。これは、知性の爆発がどのように展開するか、またその直後がどのようなものになるかを予測することはできませんが、この混乱は宇宙の歴史の中でほんの一瞬の出来事に過ぎず、その詳細は生命の最終的な限界には影響を与えないことを意味します。もし、爆発後の生命が今日の人間のように限界を押し広げることに執着するならば、それは実際にその限界に到達するための技術を発展させるでしょう—なぜなら、それが可能だからです。この章では、これらの限界が何であるかを探求し、生命の長期的な未来がどのようなものになるかの一端を垣間見ることにします。これらの限界は現在の物理学の理解に基づいているため、可能性の下限として捉えるべきです。将来の科学的発見が、さらに良い機会を提供するかもしれません。しかし、私たちは本当に未来の生命がそんなに野心的であると知っているのでしょうか？いいえ、私たちは知りません。もしかしたら、ヘロイン中毒者や「カーダシアン家のお騒がせセレブたち」の再放送をただ見続ける怠け者のように、安穏とした存在になるかもしれません。しかし、野心は高度な生命のかなり一般的な特性であると疑う理由があります。知性、長寿、知識、あるいは興味深い経験など、何を最大化しようとしているかにかかわらず、それは資源を必要とします。したがって、それは持っている資源を最大限に活用するために技術を限界まで押し進めるインセンティブを持っています。その後、さらなる改善の唯一の方法は、宇宙のより広い領域に拡大することで、より多くの資源を獲得することです。また、生命は私たちの宇宙の複数の場所で独立して起源を持つ可能性があります。その場合、野心のない文明は単に宇宙的に無関係になり、最も野心的な生命体によって宇宙の資源のより大きな部分が最終的に占有されることになります。したがって、自然選択は宇宙規模で展開し、しばらくすると、存在するほぼすべての生命が野心的な生命となるでしょう。要約すると、私たちの宇宙が最終的にどの程度生き生きとするかに興味があるなら、物理法則によって課せられる野心の限界を研究すべきです。それをやってみましょう！まず、私たちの太陽系にある資源（物質、エネルギーなど）で何ができるかの限界を探り、その後、宇宙探査と定住を通じてより多くの資源を得る方法について考えましょう。 資源を最大限に活用する 今日のスーパーマーケットや商品取引所では、私たちが「資源」と呼ぶことができる数万点の商品が販売されていますが、技術的限界に達した未来の生命が主に必要とするのは、いわゆるバリオン物質、つまり原子やその構成要素（クォークや電子）でできたものです。この物質がどのような形であれ、高度な技術はそれを望ましい物質や物体、例えば発電所、コンピュータ、高度な生命体に再配置することができます。 では、まずは先進的な生命を支えるエネルギーの限界と、それを思考させるための情報処理について考えてみましょう。 **ダイソン球の構築** 生命の未来について最も希望に満ちたビジョンを持つ人物の一人がフリーマン・ダイソンです。私は彼を過去20年間知る栄誉と喜びを持っていますが、初めて彼に会ったときは緊張しました。私はプリンストンの高等研究所のランチルームで友人たちと食事をしている若手のポスドクで、突然、アインシュタインやゲーデルと親しかったこの世界的に有名な物理学者がやってきて自己紹介をし、私たちと一緒に食事をしてもいいかと尋ねたのです！しかし、彼はすぐに私をリラックスさせてくれました。彼は、堅苦しい古い教授たちよりも若い人たちとランチを食べる方が好きだと説明してくれたのです。今これを書いている時点で彼は93歳ですが、フリーマンは私が知っているほとんどの人よりも精神的には若々しく、彼の目にあるいたずらっぽい少年のような輝きは、形式や学問的なヒエラルキー、常識に対して全く気にしていないことを示しています。彼は大胆なアイデアほど興奮するのです。エネルギーの使用について話しているとき、彼は私たち人間がどれほど野心がないかを嘲笑し、サハラ砂漠の0.5%未満の面積に降り注ぐ太陽光を利用するだけで、現在の世界のエネルギー需要をすべて満たせると指摘しました。しかし、そこで止まる必要はあるのでしょうか？地球に降り注ぐすべての太陽光を捕らえ、ほとんどを無駄に宇宙空間に放出するのをやめる理由は何でしょうか？太陽のエネルギーをすべて生命のために活用することはできないのでしょうか？ オラフ・ステープルトンの1937年のSFクラシック『スター・メーカー』に触発され、親星の周りを人工の世界が環を描いて回るという構想を持ったフリーマン・ダイソンは、1960年にダイソン球として知られるものの説明を発表しました。フリーマンのアイデアは、木星を太陽を囲む球状の殻の形をしたバイオスフィアに再配置し、私たちの子孫が繁栄できる場所を作ることでした。そこでは、今日の人類が使用するバイオマスの1000億倍、エネルギーは1兆倍も享受できると彼は主張しました。彼はこれが自然な次のステップであると述べています。「工業発展の段階に入ってから数千年以内に、知的な種が親星を完全に囲む人工のバイオスフィアに住んでいることが期待されるべきです。」もしダイソン球の内部に住んでいたら、夜はありません。常に真上に太陽が見え、空全体にバイオスフィアの残り部分から反射する太陽光を見ることができるでしょう。今のように昼間に月から反射する太陽光を見ることができるのと同じです。星を見たい場合は、「上の階」に行ってダイソン球の外から宇宙を覗けばいいのです。 部分的なダイソン球を低技術で構築する方法は、太陽の周りに環状の軌道を持つ居住空間を配置することです。太陽を完全に囲むためには、異なる軸でわずかに異なる距離で環を追加して衝突を避けることができます。 これらの高速で移動するリング同士を接続できないという煩わしさを避けるために、輸送や通信が複雑になるのを防ぐために、ロバート・L・フォワードとコリン・マッキンネスによって提唱されたアイデアに基づいて、太陽の引力と太陽の放射による外向きの圧力が釣り合うように設計された、単一の静止したダイソン球を構築することが考えられます。この球体は、太陽の重力に対抗するために放射圧を利用する「スタティット」と呼ばれる静止衛星を徐々に追加することで作られます。これらの力は太陽からの距離の二乗に反比例して減少するため、一つの距離でバランスが取れれば、他の距離でも便利にバランスが取れることになります。これにより、私たちの太陽系のどこにでも停泊する自由が得られます。スタティットは非常に軽量なシートで、1平方メートルあたりわずか0.77グラムの重さしかなく、これは紙の約100分の1です。しかし、これは大きな障害にはならないでしょう。例えば、グラフェン（鶏の網のような六角形のパターンを持つ炭素原子の単層）は、その制限の千分の一の重さです。ダイソン球が太陽光を吸収するのではなく反射するように設計されていれば、その内部で跳ね返る光の総強度は劇的に増加し、放射圧がさらに高まり、球体内で支えられる質量も増加します。他の多くの星は私たちの太陽よりも千倍、さらには百万倍の明るさを持っており、それに応じてより重い静止ダイソン球を支えることができます。もし私たちの太陽系でより重い剛体のダイソン球が必要であれば、太陽の重力に抵抗するためには、世界で最も高い超高層ビルの基部での圧力の何万倍にも耐えられる超強力な材料が必要です。ダイソン球が長持ちするためには、動的で知能を持ち、外部からの干渉に応じて位置や形状を常に微調整し、時折大きな穴を開けて厄介な小惑星や彗星が問題なく通過できるようにする必要があります。あるいは、侵入者を検知して偏向させるシステムを使用し、それらを分解してその物質をより良い用途に活用することも可能です。今日の人間にとって、ダイソン球の上や中での生活は、せいぜい方向感覚を失う程度で、最悪の場合は不可能ですが、未来の生物や非生物の生命体がそこに繁栄することを妨げる必要はありません。軌道を持つバリエーションでは、ほとんど重力がなく、静止型のダイソン球の上を歩く場合、太陽から背を向けた外側の部分だけを歩くことができ、重力は通常の約1万分の1になります。危険な太陽からの粒子から守ってくれる磁場はありません（自分で作らない限り）。しかし、地球の現在の軌道と同じサイズのダイソン球があれば、私たちが住むための表面積は約5億倍に増えるという明るい展望があります。 地球に似た人間の居住空間が求められる場合、良いニュースは、ダイソン球を建設するよりもはるかに簡単に作れるということです。例えば、図6.1と6.2は、アメリカの物理学者ジェラード・K・オニールが提唱した円筒形の居住空間デザインを示しています。このデザインは、人工重力、宇宙線シールド、24時間の昼夜サイクル、そして地球に似た大気と生態系をサポートしています。このような居住空間は、ダイソン球の内部を自由に軌道することができ、改良されたバリエーションは外部に取り付けることも可能です。 図6.1：対回転するオニールシリンダーのペアは、太陽に常に向かっているように軌道を描くことで、快適な地球に似た人間の居住空間を提供できます。回転による遠心力が人工重力を生み出し、3つの折りたたみ式ミラーが24時間の昼夜サイクルで太陽光を内部に照射します。リング状に配置された小型の居住空間は、農業に特化しています。画像提供：リック・ガイディス/NASA。 より良い発電所の建設 ダイソン球は今日の工学基準ではエネルギー効率が高いものの、物理法則が定める限界には全く及びません。アインシュタインは、質量をエネルギーに100%の効率で変換できるなら、質量mは彼の有名な式E = mc²によってエネルギーEを生み出すことを教えてくれました。ここでcは光の速度です。これは、cが非常に大きいため、少量の質量が膨大なエネルギーを生み出すことを意味します。もし反物質が豊富にあれば（現在はそうではありませんが）、100%効率の発電所を作るのは簡単です。普通の水にティースプーン一杯の反水を注ぎ込むだけで、20万トンのTNTに相当するエネルギーが放出され、これは典型的な水素爆弾の威力に相当します。これで、世界のエネルギー需要を約7分間賄うことができます。 図6.2：前の図のオニールシリンダーの内部の様子です。直径が6.4キロメートルで、2分ごとに1回回転すると、表面にいる人々は地球と同じ見かけの重力を体験します。太陽は背後にありますが、シリンダーの外にあるミラーによって夜間は折りたたまれ、上に見えるようになります。気密性のある窓が大気の漏出を防ぎます。画像提供：リック・ガイディス/NASA。 対照的に、今日のエネルギー生成の最も一般的な方法は非常に非効率的であり、表6.1および図6.3に要約されています。キャンディバーを消化する効率はわずか0.00000001%であり、これは含まれているエネルギーmc²のわずか10兆分の1を放出することを意味します。もしあなたの胃が0.001%の効率であれば、一生の間に一度の食事だけで済むことになります。食事と比較すると、石炭やガソリンの燃焼はそれぞれ3倍、5倍の効率しかありません。今日の原子力発電所は、ウラン原子を核分裂させることで劇的に改善されていますが、それでもエネルギーの0.08%を超えることはできません。 太陽の中心にある核反応炉は、私たちが作ったものよりも桁違いに効率的で、水素をヘリウムに融合させることで、そのエネルギーの0.7%を引き出しています。しかし、たとえ完璧なダイソン球で太陽を囲んだとしても、私たちが利用できるエネルギーに変換できる太陽の質量は約0.08%を超えることはありません。なぜなら、太陽が水素燃料の約10%を消費すると、通常の星としての寿命を終え、赤色巨星に膨張し、死に向かうからです。他の星についても状況はあまり改善されません。主な寿命中に消費される水素の割合は、非常に小さな星で約4%、最大の星で約12%です。もし私たちが利用可能な水素を100%融合できる人工核融合炉を完璧に作り上げたとしても、融合プロセスの効率は恥ずかしいほど低い0.7%のままです。どうすればもっと良くできるのでしょうか？ | 方法 | 効率 | | --- | --- | | キャンディを消化 | 0.00000001% | | 石炭を燃焼 | 0.00000003% | | ガソリンを燃焼 | 0.00000005% | | ウラン-235の核分裂 | 0.08% | | 太陽が死ぬまでのダイソン球 | 0.08% | | 水素のヘリウムへの融合 | 0.7% | | 回転するブラックホールエンジン | 29% | | クエーサー周辺のダイソン球 | 42% | | スファレロンの利用 | 50%? | | ブラックホールの蒸発 | 90% | 表6.1: 質量を利用可能なエネルギーに変換する効率（理論限界E=mc²に対して）。本文で説明されているように、ブラックホールに物質を与えて蒸発を待つことで90%の効率を得ることは残念ながら実用的には遅すぎ、プロセスを加速すると効率が大幅に低下します。 高度な技術は、私たちが食べたり燃やしたりすることで得られるエネルギーよりも、物質から劇的に多くのエネルギーを引き出すことができます。核融合でさえ、物理法則が定める限界の140倍も少ないエネルギーしか引き出せません。スファレロン、クエーサー、または蒸発するブラックホールを利用する発電所は、はるかに良い結果を出すかもしれません。 蒸発するブラックホール スティーブン・ホーキングは彼の著書『時間の簡潔な歴史』の中で、ブラックホール発電所を提案しました。ブラックホールは何も逃げ出せない罠だと長い間信じられていたため、これは逆説的に聞こえるかもしれません。しかし、ホーキングは量子重力の影響により、ブラックホールが熱を放出する熱い物体のように振る舞うことを計算しました。小さいほど熱くなり、現在「ホーキング放射」として知られる熱放射を放出します。これは、ブラックホールが徐々にエネルギーを失い、蒸発していくことを意味します。つまり、ブラックホールに投入した物質は最終的に熱放射として戻ってくるため、ブラックホールが完全に蒸発する頃には、ほぼ100%の効率で物質を放射に変換したことになります。 ブラックホールの蒸発を電力源として利用する際の問題は、 ブラックホールが原子よりもはるかに小さくない限り、そのプロセスは非常に遅く、現在の宇宙の年齢よりも長い時間がかかり、放出されるエネルギーはろうそくよりも少ないということです。生成されるエネルギーはブラックホールのサイズの二乗に反比例して減少します。そのため、物理学者のルイ・クレインとショーン・ウェストモーランドは、質量が史上最大の海洋船と同じくらいで、プロトンの約千分の一のサイズのブラックホールを利用することを提案しました。彼らの主な動機は、ブラックホールエンジンを使って宇宙船に電力を供給すること（このトピックについては後で触れます）であったため、効率よりも携帯性を重視し、ブラックホールにレーザー光を供給することを提案しました。これにより、エネルギーから物質への変換は全く行われません。もし放射線の代わりに物質を供給できたとしても、高効率を保証するのは難しそうです。プロトンをそのサイズの千分の一のブラックホールに入れるためには、彼らは大型ハドロン衝突型加速器と同じくらい強力な機械でブラックホールに向けて発射し、少なくとも千倍の運動エネルギーを加える必要があります。ブラックホールが蒸発する際に、その運動エネルギーの少なくとも10%がグラビトンに失われるため、私たちはブラックホールに投入するエネルギーが、取り出して利用できるエネルギーよりも多くなり、結果的に負の効率に終わることになります。ブラックホール発電所の見通しをさらに困難にしているのは、私たちが計算の基礎となる厳密な量子重力理論をまだ持っていないことですが、この不確実性は新たな有用な量子重力効果がまだ発見されていないことを意味するかもしれません。 幸いなことに、ブラックホールを発電所として利用する他の方法もあり、量子重力や他の理解が不十分な物理学を必要としません。たとえば、既存の多くのブラックホールは非常に速く回転しており、その事象の地平線は光速近くで回転しています。この回転エネルギーは抽出可能です。ブラックホールの事象の地平線は、重力の引力があまりにも強いため、光さえも逃げられない領域です。図6.4は、事象の地平線の外側で、回転するブラックホールにはエルゴスフィアと呼ばれる領域があり、回転するブラックホールが空間を非常に速く引きずるため、粒子が静止していることは不可能であることを示しています。エルゴスフィアに物体を投げ入れると、その物体はブラックホールの周りを回転しながら加速します。残念ながら、その物体はすぐにブラックホールに飲み込まれ、事象の地平線を通過して永遠に消えてしまうため、エネルギーを抽出しようとしている場合には役に立ちません。しかし、 ロジャー・ペンローズは、物体を巧妙な角度で発射し、図6.4のように2つの部分に分裂させると、1つの部分だけがブラックホールに飲み込まれ、もう1つが元のエネルギーよりも多くのエネルギーを持ってブラックホールから逃げることができることを発見しました。言い換えれば、ブラックホールの回転エネルギーの一部を有用なエネルギーに変換することに成功したのです。このプロセスを何度も繰り返すことで、ブラックホールからすべての回転エネルギーを搾り取ることができ、ブラックホールは回転を停止し、そのエルゴスフィアも消失します。もし初めのブラックホールが自然が許す限りの速さで回転していて、その事象の地平線が事実上光速で動いているなら、この戦略を用いることでその質量の29%をエネルギーに変換することが可能です。私たちの夜空に見えるブラックホールがどれほど速く回転しているかについては依然として大きな不確実性がありますが、最もよく研究されているものの多くはかなり速く回転しているようです：最大許容値の30%から100%の間です。私たちの銀河の中心にある巨大なブラックホール（その質量は太陽の400万倍）は回転しているようで、たとえその質量の10%しか有用なエネルギーに変換できなくても、それは400,000個の太陽を100%の効率でエネルギーに変換するのと同じ量に相当します。これは、数十億年にわたって500百万個の太陽の周りにあるダイソン球から得られるエネルギーとほぼ同じです。 クエーサー もう一つの興味深い戦略は、ブラックホール自体からではなく、ブラックホールに落ち込む物質からエネルギーを抽出することです。自然はすでにこれを自ら実現する方法を見つけています。それがクエーサーです。ガスがブラックホールにさらに近づくにつれて、ピザのような形の円盤を形成し、その内側の部分が徐々に飲み込まれていくと、非常に高温になり、大量の放射線を放出します。ガスがブラックホールに向かって落下するにつれて、重力ポテンシャルエネルギーが運動エネルギーに変換され、まるでスカイダイバーのように速度が増します。運動は次第に複雑な乱流によって混沌とし、ガスの塊の協調的な運動がより小さなスケールでのランダムな運動に変わり、個々の原子が高速度で衝突し始めます。このようなランダムな運動が「熱い」ということの正確な意味であり、これらの激しい衝突が運動エネルギーを放射線に変換します。ブラックホールの周囲にダイソン球を安全な距離で構築することで、この放射線エネルギーを捕らえて利用することができます。ブラックホールの回転が速いほど、このプロセスは効率的になり、最大限に回転するブラックホールは驚異的な42%の効率でエネルギーを供給します。質量が星と同じくらいのブラックホールの場合、ほとんどのエネルギーはX線として放出されますが、銀河の中心に存在する超大質量のブラックホールの場合、その多くは赤外線、可視光、紫外線の範囲で放出されます。ブラックホールに供給する燃料が尽きたら、上で述べたようにその回転エネルギーを抽出することに切り替えることができます。 確かに、自然はすでに部分的にその方法を見つけており、ブラックホールを介さずに、Blandford-Znajekメカニズムと呼ばれる磁気プロセスを通じて、蓄積されたガスからの放射線を増加させています。技術を利用して、磁場や他の要素を巧みに使うことで、エネルギー抽出効率を42%を超えてさらに向上させることができるかもしれません。 スファレロン 物質をエネルギーに変換するもう一つの方法は、ブラックホールを全く介さないスファレロンプロセスです。このプロセスでは、クォークを破壊し、それをレプトン（電子、その重い親戚であるミューオンやタウ粒子、ニュートリノまたはその反粒子）に変えることができます。図6.5に示されているように、素粒子物理学の標準モデルは、適切なフレーバーとスピンを持つ9つのクォークが集まり、スファレロンと呼ばれる中間状態を経て3つのレプトンに変わることを予測しています。入力の質量が出力よりも大きいため、質量の差はアインシュタインのE=mc²の公式に従ってエネルギーに変換されます。将来の知的生命体は、私が「スファレライザー」と呼ぶエネルギー発生装置を構築できるかもしれません。これは、ステロイドを使用したディーゼルエンジンのように機能します。従来のディーゼルエンジンは、空気とディーゼル油の混合物を圧縮し、温度が自発的に点火して燃焼するのに十分な高さになるまで加熱します。その後、熱い混合物は再び膨張し、ピストンを押すなどの有用な作業を行います。二酸化炭素や他の燃焼ガスは、最初にピストンにあったものよりも約0.00000005%軽く、この質量の差がエンジンを駆動する熱エネルギーに変わります。スファレライザーは、普通の物質を数千兆度まで圧縮し、スファレロンがその役割を果たした後に再び膨張して冷却させるでしょう。この実験の結果はすでにわかっています。なぜなら、私たちの初期宇宙が約138億年前にその実験を行ったからです。その時、宇宙は非常に高温で、ほぼ100%の物質がエネルギーに変換され、残った粒子は普通の物質を構成するクォークと電子である10億分の1未満でした。ですから、これはディーゼルエンジンと同じですが、効率は10億倍以上です！もう一つの利点は、燃料に対して細かいことを気にする必要がないことです。クォークでできたものであれば、どんな普通の物質でも機能します。 図6.5：素粒子物理学の標準モデルによれば、適切なフレーバーとスピンを持つ9つのクォークが集まり、スファレロンと呼ばれる中間状態を経て3つのレプトンに変わることができます。クォークの結合質量（それに伴うグルーオン粒子のエネルギーを含む）は、レプトンの質量よりもはるかに大きいため、このプロセスはエネルギーを放出します。これらの高温プロセスのおかげで、私たちの赤ちゃん宇宙は物質（後に原子に集まるクォークと電子）よりも10兆倍以上の放射線（光子やニュートリノ）を生成しました。 それ以来の138億年の間に、大きな分離が起こりました。原子は銀河、星、惑星に集中し、多くの光子は銀河間空間に留まり、宇宙マイクロ波背景放射を形成しました。この放射は、私たちの宇宙の「赤ちゃんの写真」を作るために利用されています。したがって、銀河や他の物質の集中した場所に住む高度な生命体は、利用可能な物質の大部分をエネルギーに戻し、初期宇宙から現れたのと同じ微小な物質の割合にリセットすることができます。これは、スファレライザーの内部でその熱く密度の高い条件を一時的に再現することによって実現されます。実際のスファレライザーがどれほど効率的であるかを理解するためには、重要な実用的な詳細を考慮する必要があります。たとえば、圧縮段階で光子やニュートリノのかなりの割合が漏れ出さないようにするためには、どれくらいの大きさが必要でしょうか？しかし、確実に言えることは、生命の未来におけるエネルギーの展望は、現在の技術が許すものよりも劇的に良いということです。私たちはまだ核融合炉を建設することすらできていませんが、未来の技術は現在の10倍、あるいは100倍の性能を発揮できるはずです。 **より良いコンピュータの構築** もし夕食を食べることがエネルギー効率の物理的限界よりも100億倍も悪いとしたら、今日のコンピュータはどれほど効率的なのでしょうか？実際、それよりもさらに悪いのです。私の友人で同僚のセス・ロイドを、MITで私と同じくらいクレイジーな人として紹介することがよくあります。彼は量子コンピュータに関する先駆的な研究を行った後、私たちの宇宙全体が量子コンピュータであると主張する本を書きました。私たちは仕事の後にビールを飲むことが多く、彼が興味深いことを言わないトピックを見つけたことはありません。たとえば、第二章で述べたように、彼は計算の究極的な限界について多くのことを語っています。2000年の有名な論文では、計算速度はエネルギーによって制限されることを示しました。時間Tで基本的な論理演算を行うには、平均エネルギーE = h/4Tが必要であり、ここでhはプランク定数として知られる基本的な物理量です。これは、1kgのコンピュータが最大で5 x 10^50回の演算を毎秒行えることを意味します。これは、私がこの言葉をタイプしているコンピュータの36桁も多いのです。もし計算能力が数年ごとに倍増し続ければ、数世代後にはそこに到達できるでしょう。彼はまた、1kgのコンピュータが最大で10^40ビットを保存できることを示しました。これは私のノートパソコンよりも約1兆倍も優れています。セスは、実際にこれらの限界に達することは、超知能を持つ生命にとっても難しいかもしれないと認めています。なぜなら、その1kgの究極の「コンピュータ」の記憶は、熱核爆発やビッグバンの一部に似ているからです。しかし、彼は実用的な限界は究極的な限界からそれほど遠くないと楽観的です。 実際、既存の量子コンピュータのプロトタイプは、すでに1原子あたり1ビットのメモリを格納することでそのサイズを小型化しており、これを拡張すれば約10^75ビット/kg、つまり私のノートパソコンの1兆倍の情報を保存できるようになります。さらに、これらの原子間で電磁放射を用いて通信することで、1秒あたり約5×10^70回の操作が可能になり、私のCPUよりも31桁も優れています。要するに、未来の生命が計算を行い、物事を解決する可能性は本当に驚異的です。桁数で考えると、今日の最高のスーパーコンピュータは、究極の1kgコンピュータからはるかに遠く、車の点滅するウィンカー、つまり1ビットの情報を持ち、1秒に1回オンとオフを切り替えるデバイスからも遠いのです。 物理学の観点から見ると、未来の生命が作りたいと思うすべてのもの—生息地や機械、新しい生命体など—は、単に特定の方法で配置された素粒子に過ぎません。青いクジラがクリルの再配置であり、クリルがプランクトンの再配置であるように、私たちの太陽系全体も138億年の宇宙進化の中で再配置された水素に過ぎません。重力が水素を星に再配置し、その星が水素をより重い原子に再配置し、その後重力がそれらの原子を私たちの惑星に再配置し、化学的および生物学的プロセスがそれらを生命に再配置しました。技術的限界に達した未来の生命は、まず計算能力を使って最も効率的な方法を見つけ、その後利用可能なエネルギーを使って物質の再配置プロセスを加速させることができます。物質がコンピュータとエネルギーの両方に変換できることを考えると、物質はある意味で必要な唯一の基本的資源です。 未来の生命が物質を使ってできることの物理的限界にぶつかったとき、より多くのことを行うためには、ただ一つの方法しか残されていません。それは、より多くの物質を得ることです。そして、それを実現する唯一の方法は、私たちの宇宙に拡大することです。宇宙への進出です！ 資源を得るための宇宙定住 私たちの宇宙の恵みはどれほど大きいのでしょうか？具体的には、物理法則が生命が最終的に利用できる物質の量にどのような上限を設けているのでしょうか？私たちの宇宙の恵みは驚くほど大きいですが、正確にはどれほど大きいのでしょうか？表6.2にはいくつかの重要な数値が示されています。現在、私たちの惑星は99.999999%が「死んでいる」と言えます。この割合の物質は私たちの生物圏の一部ではなく、重力の引力や磁場を提供する以外にはほとんど何の役にも立っていません。これは、将来的に生命を支えるために1億倍の物質を利用する可能性を示唆しています。もし私たちが太陽系内のすべての物質（太陽を含む）を最適に利用できれば、さらに100万倍の効果を得ることができます。銀河を定住すれば、資源はさらに1兆倍増えるでしょう。あなたはどこまで行けるでしょうか？ 無限の資源を手に入れるために、他の銀河にどれだけでも移住できると考えるかもしれませんが、現代の宇宙論はそうは示していません。確かに、宇宙自体は無限であり、無限の数の銀河、星、惑星を含んでいるかもしれません。実際、これは私たちのビッグバンが138億年前に起こった原因を説明する、現在最も人気のある科学的パラダイムであるインフレーションの最も単純なバージョンによって予測されています。しかし、無限の銀河が存在していたとしても、私たちが見ることができ、到達できるのは有限の数に限られているようです。私たちは約2000億の銀河を見ることができ、最大で100億の銀河に移住することができます。 表6.2は、未来の生命が利用できる物質粒子（陽子と中性子）の概算数を示しています。私たちを制限するのは光の速度です。1光年（約10兆キロメートル）を1年で進むことができるのです。図6.6は、ビッグバンから138億年の間に私たちのもとに届いた光の出所である空間の一部を示しています。この領域は「私たちの観測可能な宇宙」または単に「私たちの宇宙」と呼ばれています。たとえ宇宙が無限であっても、私たちの宇宙は有限であり、「たった」約10の78乗個の原子を含んでいます。さらに、私たちの宇宙の約98%は「見ることはできるが触れることはできない」ものであり、光の速度で永遠に移動しても決して到達できないという意味です。なぜそうなるのでしょうか？結局のところ、私たちが見ることのできる距離の限界は、私たちの宇宙が無限に古くないという事実から来ており、遠くの光が私たちに届くまでにまだ時間がかかっているからです。それなら、移動にかける時間に制限がなければ、任意の遠い銀河に旅行できるはずではないでしょうか？ 図6.6：私たちの宇宙、つまりビッグバンから138億年の間に光が私たちに届くのにかかった時間の範囲を示す球状の空間領域です。パターンは、プランク衛星によって撮影された私たちの宇宙の「赤ちゃんの写真」を示しており、宇宙がわずか40万歳のときには、太陽の表面とほぼ同じくらいの高温のプラズマで構成されていたことがわかります。この領域の外にも空間は続いている可能性があり、毎年新しい物質が視界に入ってきます。最初の課題は、私たちの宇宙が膨張していることで、ほとんどすべての銀河が私たちから遠ざかっているため、遠くの銀河を捉えることは追いつくゲームのようなものです。第二の課題は、この宇宙の膨張が加速していることで、これは宇宙の約70%を占める神秘的な暗黒エネルギーによるものです。このことがどのように問題を引き起こすかを理解するために、あなたが駅のプラットフォームに入って、あなたからゆっくりと離れていく電車を見たと想像してみてください。その電車のドアは魅力的に開いています。もしあなたが速くて無謀であれば、その電車に追いつくことができるでしょうか？電車は最終的にあなたが走れる速度を超えてしまうため、答えは明らかに電車が最初にどれだけ遠くにいるかに依存します。ある特定の臨界距離を超えている場合、あなたは決して追いつくことができません。私たちは、私たちから加速して遠ざかる遠い銀河を追いかける際に同じ状況に直面しています。たとえ光の速度で移動できたとしても、約170億光年を超えるすべての銀河は永遠に手の届かない存在であり、これは私たちの宇宙に存在する銀河の98%以上に相当します。しかし待ってください：アインシュタインの特殊相対性理論は、何も光より速く移動できないと言っていませんでしたか？では、銀河は光の速度で移動するものよりも速く遠ざかることができるのでしょうか？その答えは、特殊相対性理論がアインシュタインの一般相対性理論に取って代わられることで、速度制限がより緩やかになるということです。空間を通じて光の速度より速く移動することはできませんが、空間は自由に好きなだけ膨張することができます。アインシュタインはまた、時空の中で時間を第四の次元として捉えることで、これらの速度制限を視覚化する素晴らしい方法を提供しました（図6.7を参照してください。ここでは、三次元的な表現を保つために、三つの空間次元のうちの一つを省略しています）。もし空間が膨張していなければ、光線は時空を斜めの45度の線で形成し、私たちがここから今見たり到達したりできる領域は円錐形になります。私たちの過去の光円錐は138億年前のビッグバンによって切り取られますが、未来の光円錐は永遠に拡大し、無限の宇宙の恵みにアクセスできるようになります。対照的に、図の中央のパネルは、暗黒エネルギーを伴う膨張宇宙（私たちが住んでいる宇宙のようです）が私たちの光円錐をシャンパングラスの形に変形させ、私たちが定住できる銀河の数を約100億に制限していることを示しています。この制限があなたに宇宙的な閉塞感を与えるなら、私の計算には一つの抜け道があることをお知らせして元気づけたいと思います：私の計算は、暗黒エネルギーが時間とともに一定であると仮定しており、これは最新の測定結果と一致しています。 しかし、私たちは依然としてダークエネルギーが本当に何であるかについての手がかりを持っていません。このことは、ダークエネルギーが最終的に消失する可能性があるという希望の光を残しています（これは、宇宙の膨張を説明するために仮定されたダークエネルギーに似た物質と同様です）。もしこれが実現すれば、加速は減速に変わり、将来の生命体が新しい銀河に定住し続けることができるかもしれません。 図6.7：時空図において、イベントはその発生場所と時間をそれぞれ水平および垂直の位置で示す点です。もし空間が膨張していない場合（左のパネル）、二つの円錐が、地球上の私たち（頂点）に影響を与えることができる時空の部分（下の円錐）と、私たちが影響を与えることができる部分（上の円錐）を区切ります。因果関係は光よりも速く移動できないため、光は1年で1光年の距離を進みます。空間が膨張すると（右のパネル）、状況はさらに興味深くなります。標準的な宇宙論モデルによれば、空間が無限であっても、私たちは時空の有限な部分しか見ることも到達することもできません。中央の画像はシャンパンのグラスを思わせるもので、空間の膨張を隠す座標を使用しており、遠くの銀河の動きが時間とともに垂直の線に対応します。ビッグバンから138億年後の現在の視点から見ると、光線はシャンパンのグラスの底からしか私たちに届く時間がありません。たとえ光の速さで移動しても、私たちはグラスの上部の領域には決して到達できず、そこには約100億の銀河が含まれています。右の画像は花の下にある水滴を思わせるもので、空間が膨張しているのが見える馴染みのある座標を使用しています。これにより、グラスの底が水滴の形に変形します。なぜなら、私たちが見ることのできる領域の端は初期の段階では非常に近接していたからです。 どれだけ速く進めるのか？ ここまで、文明が光の速さで全方向に膨張した場合、どれだけ多くの銀河に定住できるかを探求しました。一般相対性理論によれば、光の速さで宇宙を飛ぶロケットを送ることは不可能であり、無限のエネルギーが必要になるため、実際にはロケットはどれくらいの速さで進むことができるのでしょうか？ NASAのニューホライズンズロケットは、2006年に冥王星に向けて約10万マイル毎時（約45キロメートル毎秒）の速度で打ち上げられ、速度記録を破りました。また、NASAの2018年のソーラープローブプラスは、太陽の非常に近くに落下することで4倍以上の速度を目指していますが、それでも光の速さのわずか0.1%にも満たないのです。より速く、より良いロケットを求める探求は、過去1世紀の最も優れた頭脳を魅了してきました。このテーマに関する豊かで魅力的な文献も存在します。なぜ速く進むのがそんなに難しいのでしょうか？ 2つの主要な問題は、従来のロケットが持参する燃料を加速させるために大部分の燃料を消費してしまうことと、今日のロケット燃料が非常に非効率的であることです。燃料の質量がエネルギーに変わる割合は、表6.1で見たガソリンの0.00000005%とあまり変わりません。明らかな改善策の一つは、より効率的な燃料に切り替えることです。 例えば、フリーマン・ダイソンや他の科学者たちは、NASAのオリオン計画に取り組みました。この計画は、約30万発の核爆弾を10日間で爆発させ、宇宙船を使って人類を別の太陽系へと運ぶために、光速の約3%に達することを目指していました。この旅は100年にも及ぶものでした。他にも、反物質を燃料として利用するアイデアが探求されています。反物質と通常の物質を組み合わせることで、ほぼ100%の効率でエネルギーを放出するからです。また、燃料を自ら運ぶ必要のないロケットを作るという人気のあるアイデアもあります。例えば、星間空間は完全な真空ではなく、時折水素イオン（単独の陽子：電子を失った水素原子）が存在します。1960年、物理学者ロバート・バッサードは、これらのイオンを途中で集めて、搭載した核融合炉でロケット燃料として使用するというアイデアを思いつきました。最近の研究では、これが実際に機能するかどうかに疑問が投げかけられていますが、燃料を持たない別のアイデアとして、高度な宇宙文明にとって実現可能に思えるものがあります。それがレーザーセーリングです。図6.8は、1984年にロバート・フォワードが提唱した巧妙なレーザーセイルロケットのデザインを示しています。彼はダイソン球の建設のために探求したスタイタイトを発明した物理学者でもあります。風を受けて進む帆船の帆のように、鏡に反射した光子（光の粒子）がロケットを前に押し出します。太陽光で動く巨大なレーザーを宇宙船に取り付けた超軽量の帆に向けて照射することで、私たちの太陽のエネルギーを利用してロケットを高速で加速させることができます。しかし、どうやって止まるのでしょうか？この疑問は、フォワードの素晴らしい論文を読むまで私を悩ませていました。図6.8が示すように、レーザーセイルの外側のリングが切り離され、宇宙船の前に移動して、レーザービームを反射し、宇宙船とその小さな帆を減速させます。フォワードは、これにより人類が4光年の距離にあるアルファ・ケンタウリ星系までわずか40年で到達できると計算しました。そこに到達したら、新たな巨大なレーザーシステムを構築し、銀河系内を星間移動し続けることができるでしょう。 図6.8：ロバート・フォワードによる、4光年先のアルファ・ケンタウリ星系へのレーザーセーリングミッションのデザイン。最初に、太陽系内の強力なレーザーがレーザーセイルに放射圧をかけて宇宙船を加速させます。目的地に到達する前にブレーキをかけるために、セイルの外側部分が切り離され、レーザー光を宇宙船に反射します。しかし、そこで止まる必要はあるのでしょうか？1964年、ソビエトの天文学者ニコライ・カルダシェフは、文明をエネルギーの利用可能量によって分類することを提案しました。惑星、星（ダイソン球を用いた場合）、銀河のエネルギーを利用することは、それぞれカルダシェフスケールのタイプI、タイプII、タイプIIIの文明に相当します。その後の思想家たちは、タイプIVは私たちのアクセス可能な宇宙全体を利用することに相当すべきだと提案しています。 それ以来、野心的な生命体にとって良いニュースと悪いニュースがありました。悪いニュースは、ダークエネルギーが存在することで、私たちの到達範囲が制限されるように見えることです。一方、良いニュースは人工知能の劇的な進歩です。カール・セーガンのような楽観的なビジョナリーでさえ、人間が他の銀河に到達する可能性を非常に絶望的だと見なしていました。なぜなら、光速に近い速度で移動したとしても、数百万年かかる旅の最初の世代のうちに死ぬ傾向があるからです。彼らはあきらめず、宇宙飛行士を冷凍保存して寿命を延ばすことや、光速に非常に近い速度で移動することで老化を遅らせること、あるいは数万世代にわたって旅をするコミュニティを送ることを考えました。これは、人類がこれまで存在してきたよりも長い時間です。超知能の可能性はこの状況を完全に変え、銀河間の冒険心を持つ人々にとってはるかに希望のあるものにします。かさばる人間の生命維持システムを輸送する必要がなくなり、AIが発明した技術が加わることで、銀河間の定住は突然、非常に簡単に見えるようになります。フォワードのレーザーセーリングは、宇宙船が「シードプローブ」と呼ばれるロボットを収容するのに十分な大きさであれば、はるかに安価になります。このロボットは、目標の太陽系内の小惑星や惑星に着陸し、新しい文明をゼロから構築することができます。指示を持っている必要すらなく、必要なのは、母文明から光速で送信されるより詳細な設計図や指示を受信するのに十分な大きさのアンテナを構築することだけです。これが完了すると、新たに構築したレーザーを使って新しいシードプローブを送り出し、銀河を一つの太陽系ずつ定住させていきます。銀河間の広大な暗黒空間には、かつて母銀河から放出された銀河間の星々がかなりの数存在しており、これらを中継地点として利用することができるため、銀河間のレーザーセーリングにおけるアイランドホッピング戦略が可能になります。超知能AIによって別の太陽系や銀河が定住されれば、人間をそこに連れて行くのは簡単です—もし人間がAIにその目標を持たせることに成功していれば。人間に関する必要な情報は光速で送信でき、その後AIはクォークと電子を組み立てて望ましい人間を作り出すことができます。これは、特定の人のDNAを指定するために必要な2ギガバイトの情報を単純に送信し、AIによって育てられる赤ちゃんを孵化させるという低技術的な方法でも行えますし、AIがナノアセンブルを用いてクォークと電子を完全な大人に組み立てることも可能です。この大人は、地球の元の人間からスキャンされたすべての記憶を持っています。つまり、知能の爆発が起こった場合、重要な質問は銀河間の定住が可能かどうかではなく、単にどれだけ速く進むことができるかということです。 私たちがこれまで探求してきたアイデアはすべて人間に由来するため、これらは生命がどれだけ速く拡大できるかの下限として捉えるべきです。野心的な超知性の生命体は、おそらくもっと良い結果を出せるでしょうし、時間とダークエネルギーとの競争において、平均的な定住速度が1%向上するごとに3%多くの銀河が植民地化されるため、その限界を押し広げる強いインセンティブを持つでしょう。たとえば、レーザーセイルシステムを使って次の星系まで10光年を移動するのに20年かかり、その後さらに10年かけて定住し、新しいレーザーや種プローブをそこで構築する場合、定住した空間の領域は平均して光速の3分の1の速度で全方向に成長する球体となります。 2014年に行われた宇宙的に拡大する文明に関する美しく詳細な分析の中で、アメリカの物理学者ジェイ・オルソンは、島を渡るアプローチに代わるハイテクな選択肢を考察しました。それは、種プローブとエクスパンダーという2種類のプローブを使う方法です。種プローブは減速して着陸し、目的地に生命を播種します。一方、エクスパンダーは決して止まることはありません。飛行中に物質を取り込み、改良されたラムジェット技術のようなものを使って、この物質を燃料とし、自らのコピーやエクスパンダーを作る原材料として利用します。この自己複製するエクスパンダーの艦隊は、近くの銀河に対して常に一定の速度（たとえば光速の半分）を維持するために穏やかに加速し続け、艦隊が一定のエクスパンダー数を持つ拡大する球殻を形成するほど頻繁に繁殖します。 最後に、上記の方法よりもさらに速く拡大するための狡猾な「ハイル・メリー」アプローチがあります。それは、ハンス・モラベックの「宇宙スパム」詐欺を利用する方法です。新たに進化した文明を騙して超知性の機械を構築させ、その機械が彼らをハイジャックするメッセージを放送することで、文明は実質的に光速で拡大することができます。これは、先進的な文明が将来の光円錐内のほとんどの銀河に到達する唯一の方法かもしれず、試みない理由がほとんどないため、私たちは地球外からのいかなる通信にも非常に疑いを持つべきです！カール・セーガンの著書『コンタクト』では、私たち地球人はエイリアンからの設計図を使って理解できない機械を作りましたが、私はこれをお勧めしません。 要約すると、宇宙の定住を考える多くの科学者やSF作家は、超知性の可能性を無視することで過度に悲観的であったと思います。人間の旅行者に注意を限ることで、彼らは銀河間旅行の難しさを過大評価し、人間が発明した技術に注意を限ることで、可能性の物理的限界に近づくために必要な時間を過大評価してしまったのです。 宇宙工学によるつながりの維持 もし暗黒エネルギーが最新の実験データが示すように、遠くの銀河を互いに遠ざけ続けるなら、これは未来の生命にとって大きな厄介事となるでしょう。つまり、たとえ未来の文明が百万の銀河に定住できたとしても、暗黒エネルギーは数十億年の間にこの宇宙帝国を数千の異なる地域に分断し、互いに通信できない状態にしてしまうのです。もし未来の生命がこの分断を防ぐ手立てを講じなければ、残された最大の生命の拠点は約千の銀河を含むクラスターとなり、その重力は暗黒エネルギーがそれらを引き離そうとする力を上回ることになります。もし超知能文明がつながりを維持したいと考えるなら、これは大規模な宇宙工学を行う強い動機となるでしょう。暗黒エネルギーが永遠に手の届かないところにしてしまう前に、どれだけの物質を最大の超クラスターに移動させる時間があるのでしょうか。 星を大きな距離に移動させる一つの方法は、安定して互いに公転している二つの星のバイナリシステムに第三の星を押し込むことです。恋愛関係と同様に、第三者の導入は状況を不安定にし、三者のうちの一つが激しく追放されることにつながる可能性があります—星の場合は、非常に高速度での追放です。もし三者のうちのいくつかがブラックホールであれば、そのような不安定な三者関係を利用して、質量を十分に高速で飛ばし、ホスト銀河の外へと放り出すことができます。しかし、星、ブラックホール、または銀河にこの三体技術を適用しても、文明の質量のごく一部しか、暗黒エネルギーを出し抜くために必要な大きな距離を移動させることはできないようです。しかし、これは超知能生命がより良い方法を考え出せないということを意味するわけではありません。たとえば、外れた銀河の質量の多くを宇宙船に変換し、母集団のクラスターに移動させることができるかもしれません。もしスファレライザーが構築できれば、物質をエネルギーに変換し、それを光として母集団のクラスターにビーム送信し、そこで再び物質に再構成することや、電源として利用することも可能かもしれません。 最終的な幸運は、安定した通過可能なワームホールを構築できることが判明することです。これにより、ワームホールの両端がどれだけ離れていても、ほぼ瞬時に通信や旅行が可能になります。ワームホールは、AからBへと、介在する空間を通らずに移動できる時空のショートカットです。安定したワームホールはアインシュタインの一般相対性理論によって許可されており、『コンタクト』や『インターステラー』といった映画にも登場していますが、負の密度を持つ奇妙な仮想的な物質の存在を必要とし、その存在は理解が不十分な量子重力効果に依存しているかもしれません。言い換えれば、有用なワームホールは実現不可能である可能性が高いですが、もしそうでなければ、超知能生命にはそれを構築する大きなインセンティブがあります。ワームホールは、個々の銀河内での迅速な通信を革命的に変えるだけでなく、銀河同士をつなぐことによって、さらに大きな可能性を秘めています。 初期の段階で中心クラスターに接続された外れの銀河は、ワームホールによって未来の生命の全領域が長期的に繋がり続けることを可能にし、暗黒エネルギーが通信を妨げようとする試みを完全に阻止します。一度、二つの銀河が安定したワームホールで繋がると、たとえどれだけ離れて漂流しても、その繋がりは維持されます。もし、未来の文明が宇宙工学の試みを尽くしても、ある部分が永遠に連絡が取れなくなる運命にあると結論づけた場合、それを見送って幸運を祈ることもあるでしょう。しかし、もしその文明が特定の非常に難しい質問への答えを求める野心的な計算目標を持っているなら、代わりに「焼き払い」戦略に出るかもしれません。外れの銀河を巨大なコンピュータに変換し、その物質とエネルギーを狂ったような速度で計算に変えることで、暗黒エネルギーがその燃え尽きた残骸を視界から押しやってしまう前に、長年求めていた答えを母クラスターに送信できることを期待します。この「焼き払い」戦略は、既存の住民にとっては不満の種となる「宇宙スパム」方式でしか到達できないほど遠くの地域に特に適しているでしょう。一方、母地域にいる文明は、できるだけ長く存続するために最大限の保存と効率を目指すことができるのです。 どれくらい長く持ちこたえられるか？長寿は、多くの野心的な人々、組織、国々が目指すものです。では、野心的な未来の文明が超知能を発展させ、長寿を求めた場合、どれくらいの期間存続できるのでしょうか？私たちの遥か未来に関する最初の徹底的な科学分析は、フリーマン・ダイソンによって行われ、その主要な発見のいくつかを表6.3にまとめています。結論としては、知性が介入しない限り、太陽系や銀河は徐々に破壊され、最終的には他のすべても消滅し、冷たく死んだ空虚な宇宙だけが残り、永遠に薄れていく放射線の輝きだけが残るということです。しかし、ダイソンはその分析を楽観的な調子で締めくくっています。「生命と知性がこの宇宙を自らの目的に合わせて形作る可能性を真剣に考えるための良い科学的理由があります。」 私は、超知能が表6.3に挙げられた多くの問題を容易に解決できると考えています。なぜなら、超知能は物質を太陽系や銀河よりも優れたものに再配置できるからです。数十億年後の太陽の死といったよく議論される課題は、相対的に低技術の文明でも2000億年以上持続する低質量の星に簡単に移動できるため、障害にはならないでしょう。超知能の文明が星よりも効率的な発電所を建設する場合、エネルギーを節約するために星の形成を防ぎたいと考えるかもしれません。たとえダイソン球を使用して星の主な寿命中のエネルギー出力をすべて収穫したとしても（総エネルギーの約0.1%を回収）、非常に大きな星が死ぬときに残りの99.9%のエネルギーが無駄にならないように保つことはできないかもしれません。 重い星は超新星爆発によって死に、その際にほとんどのエネルギーが捉えどころのないニュートリノとして放出されます。そして、非常に重い星の場合、大量の質量がブラックホールを形成することで無駄になり、そのエネルギーが漏れ出すのに10^10年かかります。我々の宇宙の現在の年齢は約10^10年です。暗黒エネルギーは、ほとんどの銀河を手の届かないところへ押しやります。最後の星が燃え尽きるのは10^14年後、星から離れた惑星は10^15年後、銀河から離れた星は10^10年後、重力波による軌道の崩壊は10^20年後、陽子の崩壊（早くても）10^34年後、恒星質量のブラックホールが蒸発するのは10^97年後、超大質量のブラックホールが蒸発するのは10^101年後、すべての物質が鉄に崩壊するのは10^150年後、すべての物質がブラックホールを形成し、それが蒸発するのは10^101年後です。 表6.3：遠い未来の推定値。2番目と7番目を除いて、すべてフリーマン・ダイソンによって行われました。彼は暗黒エネルギーの発見前にこれらの計算を行い、これにより10^19年から10^101年の間にいくつかの「コスモカリプス」が可能になるかもしれません。陽子は完全に安定しているかもしれませんが、そうでない場合、実験によれば半分が崩壊するのに10^34年かかると示唆されています。超知的生命体が物質やエネルギーを使い果たさない限り、望む状態で生息地を維持し続けることができます。もしかすると、量子力学の「見守られている鍋効果」を利用して、陽子の崩壊を防ぐ方法を発見できるかもしれません。この効果により、定期的な観察によって崩壊過程が遅くなります。しかし、潜在的な問題があります。それは、私たちの宇宙全体を破壊するコスモカリプスが、今から10億年から100億年の間に起こる可能性があるということです。暗黒エネルギーの発見と弦理論の進展は、フリーマン・ダイソンが彼の重要な論文を書いたときには知らなかった新しいコスモカリプスのシナリオを生み出しました。 では、私たちの宇宙は何十億年後にどのように終わるのでしょうか？私には、宇宙の終焉を示す5つの主要な候補があります。それは、ビッグチル、ビッグクラッシュ、ビッグリップ、ビッグスナップ、そしてデスバブルです。私たちの宇宙は今や約140億年にわたって膨張しています。ビッグチルは、宇宙が永遠に膨張し続け、私たちの宇宙が冷たく暗く、最終的には死んだ場所に希薄化することです。これは、フリーマンがその論文を書いたときに最も可能性が高い結果と見なされていました。私はこれをT.S.エリオットの選択肢として考えています。「世界はこうして終わる / 大きな音ではなく、うめき声で。」もしあなたがロバート・フロストのように、世界が氷ではなく火で終わることを望むなら、ビッグクラッシュを期待してください。これは、宇宙の膨張が最終的に逆転し、すべてが大爆発の逆のように崩壊することです。最後に、ビッグリップは、ビッグチルの焦らし版で、私たちの銀河、惑星、さらには原子が、有限の時間内に引き裂かれる壮大なフィナーレです。これらの三つのうち、どれに賭けるべきでしょうか？それは、宇宙の約70%を占める暗黒エネルギーが、空間が膨張し続ける中で何をするかに依存します。 それは、ダークエネルギーが変わらずに残るのか、負の密度に希薄化するのか、あるいは高密度に逆希薄化するのかによって、チル、クランチ、リップのいずれかのシナリオになる可能性があります。私たちはまだダークエネルギーが何であるか全く分からないので、私の賭け方をお伝えします。ビッグチルに40%、ビッグクランチに9%、ビッグリップに1%を賭けます。 私たちの宇宙はどのように終わるのでしょうか？ビッグチル、ビッグクランチ、ビッグリップ、ビッグスナップ、デスバブルといったシナリオが提案されています。私たちの宇宙は、140億年前に熱いビッグバンから始まり、膨張して冷却し、粒子が原子、星、銀河に合体しました。しかし、その最終的な運命はわかりません。ビッグチル（永遠の膨張）、ビッグクランチ（再収縮）、ビッグリップ（無限の膨張率で全てを引き裂く）、ビッグスナップ（空間の構造が過度に引き伸ばされると致命的な粒状性を露呈する）、デスバブル（空間が光の速度で膨張する致命的なバブルに「凍る」）などが考えられています。 私の残りの50%の資金は「上記のいずれでもない」オプションのために取っておきます。なぜなら、私たち人間は謙虚であるべきで、まだ理解していない基本的なことがあることを認める必要があると思うからです。例えば、空間の性質です。チル、クランチ、リップの結末は、空間自体が安定していて無限に伸びることができると仮定しています。私たちはかつて、空間を宇宙のドラマが展開する退屈な静的な舞台と考えていました。しかし、アインシュタインは空間が実際には重要な役者の一つであることを教えてくれました。空間はブラックホールに曲がり、重力波として波打ち、膨張する宇宙として伸びることができます。もしかしたら、空間も水のように異なる相に凍ることができるかもしれません。新しい相の急速に膨張するデスバブルは、別のワイルドカード的な宇宙の終焉候補を提供します。 もしデスバブルが可能であれば、それらはおそらく光の速度で膨張するでしょう。これは、最大限に攻撃的な文明からの宇宙的なスパムの成長する球体のようなものです。さらに、アインシュタインの理論によれば、空間の伸びは常に続くことができ、私たちの宇宙はビッグチルやビッグリップのシナリオのように無限の体積に近づくことができます。これは少し良すぎるように聞こえますし、私はそれが本当だとは思えません。ゴムバンドは見た目には滑らかで連続していますが、引き伸ばしすぎると切れてしまいます。なぜでしょうか？それは原子でできていて、十分に引き伸ばすと、この粒状の原子の性質が重要になるからです。もしかしたら、空間にも私たちが気づいていないほど小さなスケールで何らかの粒状性があるのかもしれません。量子重力の研究は、約10^-34メートルより小さいスケールで従来の三次元空間について語ることは意味がないことを示唆しています。もし本当に空間がカタストロフィックな「ビッグスナップ」を経験せずに無限に引き伸ばされることができないのなら、未来の文明は到達可能な最大の非膨張領域（巨大な銀河団）に移動したいと考えるかもしれません。あなたはどれだけ計算できますか？ 未来の生命がどれくらい長く続くかを探った後は、今度はその生命がどれくらい続けたいと思うかを考えてみましょう。できるだけ長く生きたいと考えるのは自然なことかもしれませんが、フリーマン・ダイソンはこの欲求に対してより定量的な議論を展開しました。計算を遅く行うと計算コストが下がるため、物事をできるだけ遅く進めることで最終的にはより多くのことを成し遂げられるというのです。ダイソンはさらに、もし私たちの宇宙が永遠に膨張し続け、冷却し続けるなら、無限の計算が可能になるかもしれないと計算しました。遅いことが必ずしも退屈を意味するわけではありません。もし未来の生命がシミュレーションされた世界に住んでいるなら、その主観的に経験される時間の流れは、外の世界でシミュレーションが実行される氷河のようなペースとは関係がないかもしれません。したがって、無限の計算の可能性は、シミュレーションされた生命体にとって主観的な不死につながるかもしれません。宇宙論者のフランク・ティプラーはこのアイデアを基に、ビッグクランチの直前に計算を無限に近づけることで主観的な不死を達成できるかもしれないと推測しています。温度と密度が急上昇する中で計算を加速させるのです。ダークエネルギーがフリーマンとフランクの無限計算の夢を妨げるように見えるため、未来の超知性はエネルギー供給を比較的早く消費し、宇宙の地平線や陽子崩壊といった問題に直面する前に計算に変換することを好むかもしれません。総計算を最大化することが究極の目標であれば、最適な戦略は、前述の問題を避けるために遅すぎず、計算ごとに必要以上のエネルギーを消費しないようにすることのトレードオフとなるでしょう。この章で探求してきたすべてをまとめると、最大限に効率的な発電所とコンピュータが超知性の生命に驚異的な量の計算を行うことを可能にすることがわかります。13ワットの脳を100年間動かすには、約半ミリグラムの物質に相当するエネルギーが必要です—これは典型的な砂糖の粒よりも少ない量です。セス・ロイドの研究は、脳が1京倍エネルギー効率を高めることができることを示唆しており、その結果、砂糖の粒がこれまでに生きたすべての人間の人生をシミュレーションすることができるだけでなく、さらに何千倍もの人々をシミュレーションすることも可能になります。もし私たちの宇宙に存在するすべての物質を使って人々をシミュレーションできるなら、10の100乗以上の生命をシミュレーションすることができるでしょう—あるいは超知性AIがその計算能力で行いたいことを何でもすることができるのです。シミュレーションをより遅く実行すれば、さらに多くの生命が可能になるでしょう。逆に、ニック・ボストロムは彼の著書『スーパーインテリジェンス』の中で、エネルギー効率に関するより保守的な仮定を用いると、10の80乗の人間の生命をシミュレーションできると推定しています。これらの数字をどのように切り分けても、それは非常に大きなものであり、私たちがこの未来の生命の可能性を無駄にしないようにする責任もまた大きいのです。ボストロムが言うように、「もし私たちが一つの人生で経験されるすべての幸福を一滴の喜びの涙で表現するなら、」 これらの魂の幸福は、地球の海を毎秒満たし続け、さらに千億億年もの間それを繰り返すことができるでしょう。本当に重要なのは、これが本当に喜びの涙であることを確認することです。 **宇宙の階層** 光の速度は、生命の広がりだけでなく、生命の本質にも制限をかけ、コミュニケーション、意識、制御に強い制約を課しています。もし私たちの宇宙の多くが最終的に生命を持つことになった場合、その生命はどのようなものになるのでしょうか？ **思考の階層** 手でハエを叩こうとして失敗したことはありますか？ハエがあなたよりも早く反応できる理由は、それが小さいからです。情報がその目、脳、筋肉の間を移動するのにかかる時間が短いためです。この「大きい＝遅い」という原則は、生物学において、電気信号が神経を通ってどれだけ速く移動できるかによって速度制限が設定されるだけでなく、光よりも速く情報が移動できない場合の未来の宇宙生命にも当てはまります。したがって、知的な情報処理システムにとって、大きくなることは興味深いトレードオフを伴う混合の祝福です。一方では、大きくなることでより多くの粒子を含むことができ、より複雑な思考が可能になります。しかし、他方では、関連する情報がすべての部分に伝わるのに時間がかかるため、真にグローバルな思考を持つ速度が遅くなります。もし生命が私たちの宇宙を包み込むなら、それはどのような形を選ぶのでしょうか：シンプルで速いものか、複雑で遅いものか？私は、地球の生命が選んだのと同じ選択をするだろうと予測します：両方です！地球の生物圏の住人たちは、巨大な200トンのシロナガスクジラから、世界中の魚のバイオマスを合わせたよりも多くのバイオマスを持つと考えられている小さな10^-1 kgの細菌ペラギバクターまで、驚くべきサイズの範囲を持っています。さらに、大きくて複雑で遅い生物は、しばしば小さくてシンプルで速いモジュールを含むことで、その鈍さを緩和します。例えば、あなたの瞬き反射は非常に速いですが、それはほとんどの脳を使わない小さくてシンプルな回路によって実装されているからです。もしその叩きにくいハエが偶然あなたの目に向かって飛んできたら、あなたは一瞬のうちに瞬きします。その間に、関連情報が脳全体に広がり、何が起こったのかを意識的に認識する時間はありません。情報処理をモジュールの階層に整理することで、私たちの生物圏はスピードと複雑さの両方を実現しています。私たち人間はすでにこの同じ階層的戦略を使って並列計算を最適化しています。内部のコミュニケーションが遅くコストがかかるため、私は高度な未来の宇宙生命も同様のことを行うと予想しています。計算はできるだけローカルに行われるでしょう。もし計算が1 kgのコンピュータで行えるほど単純であれば、銀河サイズのコンピュータに広げるのは逆効果です。なぜなら、各計算ステップの後に情報が光の速度で共有されるのを待つことで、約10万年の途方もない遅延が生じるからです。 未来の情報処理の中で、どの部分が主観的な体験を伴う意識を持つのかという問題は、議論の余地があり、非常に興味深いテーマです。このテーマについては第8章で詳しく探求します。もし意識がシステムの異なる部分同士のコミュニケーションを必要とするなら、より大きなシステムの思考は必然的に遅くなります。あなたや未来の地球規模のスーパーコンピュータは、1秒間に多くの思考を持つことができる一方で、銀河規模の心は10万年に1回しか思考できず、宇宙規模の心は約10の思考を持つのがやっとで、暗黒エネルギーによって分断される前にそれを達成することになります。一方で、これらの貴重な思考や体験は非常に深いものになるかもしれません。 **制御の階層** 思考自体が広範なスケールにわたる階層で組織されているなら、権力についてはどうでしょうか？第4章では、知的存在がナッシュ均衡の中で自然に権力階層を形成する様子を探求しました。ここでは、戦略を変更するとどの存在も不利になるため、より良いコミュニケーションと輸送技術が進むほど、これらの階層は大きく成長します。もし超知性がいつの日か宇宙規模に拡大した場合、その権力階層はどのようになるのでしょうか？自由で分散型になるのか、それとも非常に権威主義的になるのか？協力は主に相互利益に基づくのか、それとも強制や脅威に基づくのか？これらの質問に光を当てるために、報酬と罰の両方を考えてみましょう：宇宙規模での協力にはどのようなインセンティブがあり、どのような脅威がそれを強制するために使われる可能性があるのでしょうか？ **報酬による制御** 地球上では、貿易は協力の伝統的な推進力です。なぜなら、物を生産する相対的な難易度が地球上で異なるからです。ある地域で1キログラムの銀を採掘するのに300倍のコストがかかる一方で、別の地域では100倍のコストで済む場合、両者は200キログラムの銅と1キログラムの銀を交換することで利益を得ることができます。また、ある地域が別の地域よりもはるかに高い技術を持っている場合、高度な技術製品と原材料を交換することで、両者は同様に利益を得ることができます。しかし、もし超知性が基本的な粒子をあらゆる物質の形に容易に再配置できる技術を開発した場合、長距離貿易のインセンティブはほとんど消えてしまいます。遠くの太陽系間で銀を輸送するよりも、銅の粒子を再配置して銀に変える方が簡単で早いのです。銀河間で高度な機械を輸送する必要があるのでしょうか？両方の場所にノウハウと原材料（どんな物質でも構わない）が存在するのに。私の予想では、超知性であふれる宇宙では、長距離輸送に値する商品はほとんど情報だけになるでしょう。唯一の例外は、宇宙工学プロジェクトに使用される物質かもしれません。たとえば、暗黒エネルギーが文明を引き裂くという破壊的な傾向に対抗するためのものです。 従来の人間の取引とは異なり、この物質はあらゆる便利なバルク形態で輸送可能であり、エネルギービームとしても送れるかもしれません。受け取る超知性は、それを迅速に望む物体に再構成することができるからです。もし情報の共有や取引が宇宙的協力の主要な原動力となるなら、どのような情報が関与するのでしょうか？生成に膨大で時間のかかる計算努力が必要な望ましい情報は、価値があるでしょう。例えば、超知性は物理的現実の本質に関する難しい科学的質問や、定理や最適アルゴリズムに関する難しい数学的質問、さらには素晴らしい技術を構築するための最良の方法に関する難しい工学的質問の答えを求めるかもしれません。快楽主義的な生命体は素晴らしいデジタルエンターテインメントやシミュレーション体験を求め、宇宙的商取引はビットコインの精神に則った何らかの形の宇宙暗号通貨への需要を生むかもしれません。このような共有の機会は、同等の力を持つ存在間だけでなく、力の階層を上下に超えた情報の流れを促進するかもしれません。例えば、太陽系サイズのノードと銀河のハブ、あるいは銀河サイズのノードと宇宙のハブの間での情報の流れです。ノードは、より大きな何かの一部であることの喜びや、自分たちだけでは開発できない答えや技術を提供されること、外部の脅威からの防御のためにこれを求めるかもしれません。また、バックアップを通じてほぼ不死の約束を重視するかもしれません。多くの人間が肉体が死んだ後も自分の心が生き続けるという信念に慰めを見出すように、先進的なAIもその心と知識が元の物理的ハードウェアのエネルギーが尽きた後にハブのスーパーコンピュータに生き続けることを評価するかもしれません。逆に、ハブはノードに対して、結果が急を要しない大規模な長期計算タスクを手伝ってもらいたいと思うかもしれません。そうすれば、答えを得るために数千年や数百万年待つ価値があるからです。前述のように、ハブはまた、銀河の質量集中を移動させて破壊的なダークエネルギーに対抗するような大規模な宇宙工学プロジェクトを実行するためにノードの協力を求めるかもしれません。もし通過可能なワームホールが実現可能で構築可能であるなら、ハブの最優先事項は、ダークエネルギーを阻止し、その帝国を無限に接続し続けるためのワームホールのネットワークを構築することになるでしょう。宇宙的超知性が持つ究極の目標が何であるかという問いは、魅力的で物議を醸すものであり、私たちは第7章でさらに探求していきます。 棒での支配 地球上の帝国は通常、部下に協力を強いるために、甘い報酬と厳しい罰の両方を用います。ローマ帝国の臣民は、協力の報酬として提供される技術、インフラ、そして防衛を重視していましたが、反乱を起こしたり税金を払わなかった場合の避けられない結果を恐れてもいました。ローマから遠方の州に軍を派遣するのに長い時間がかかるため、部分的に 脅威の行使は、地元の部隊や忠実な官僚に委任され、彼らはほぼ瞬時に罰を与える権限を持っていました。超知能のハブは、宇宙帝国全体に忠実な警備員のネットワークを配置するという類似の戦略を用いることができます。超知能の対象は制御が難しいため、最もシンプルで実行可能な戦略は、相対的に単純なAI警備員を使用し、彼らが100%忠実にプログラムされていることです。これらの警備員は、すべてのルールが守られているかどうかを監視し、守られていない場合には自動的に終末装置を作動させます。 例えば、ハブAIが制御したい太陽系規模の文明の近くに白色矮星を配置する手配をしたとしましょう。白色矮星は、やや重い星の燃え尽きた殻です。主に炭素で構成されており、空に浮かぶ巨大なダイヤモンドのように見え、地球よりも小さいながらも太陽よりも重いことがあります。インドの物理学者スブラマニアン・チャンドラセカールは、質量を加え続けると、チャンドラセカール限界（約太陽の1.4倍の質量）を超えると、超新星1A型と呼ばれる壊滅的な熱核爆発を起こすことを証明しました。もしハブAIがこの白色矮星をチャンドラセカール限界に非常に近い位置に配置した場合、警備AIは非常に単純であっても効果的であり得ます（実際、単純であるがゆえに効果的です）。それは、征服された文明が毎月の宇宙ビットコインや数学的証明、その他の税金を納めているかどうかを確認するようにプログラムされ、もし納めていなければ、白色矮星に十分な質量を投げ込んで超新星を引き起こし、その地域全体を吹き飛ばすことができるのです。 銀河規模の文明も、銀河中心の巨大ブラックホールの周りに多くのコンパクトな物体を密接に配置し、これらの質量をガスに変える脅威を与えることで制御可能かもしれません。例えば、これらの物体を衝突させることによってです。このガスはブラックホールに供給され、強力なクエーサーに変わり、銀河の多くを居住不可能にする可能性があります。 要約すると、未来の生命が宇宙的な距離で協力する強いインセンティブが存在しますが、その協力が主に相互利益に基づくのか、あるいは残酷な脅威に基づくのかは大きな疑問です。物理学によって課せられた限界は、両方のシナリオを許容するように見えるため、結果は支配的な目標や価値観に依存します。未来の生命の目標や価値観に影響を与える能力については、第7章で探求します。 文明の衝突 これまで、私たちは単一の知性爆発から宇宙に生命が拡大するシナリオについてのみ議論してきました。しかし、もし生命が複数の場所で独立して進化し、二つの拡大する文明が出会った場合はどうなるのでしょうか？ランダムな太陽系を考えると、その惑星の一つで生命が進化し、高度な技術を発展させ、宇宙に拡大する確率があります。この確率は… 技術的な進化が私たちの太陽系内で進んでおり、物理法則が宇宙の定住を可能にしていることから、宇宙の広さはゼロより大きいようです。もし宇宙が十分に広い（実際、宇宙の膨張理論はそれが広大または無限であることを示唆しています）なら、多くの拡大する文明が存在することになるでしょう。これは図6.10に示されています。ジェイ・オルソンの前述の論文には、こうした拡大する宇宙の生態圏に関する優れた分析が含まれており、トビー・オードは人類の未来研究所の同僚と共に同様の分析を行っています。三次元で見ると、これらの宇宙の生態圏は文明がすべての方向に同じ速度で拡大する限り、文字通り球体の形をしています。時空の中では、図6.7のシャンパン・グラスの上部のように見えます。なぜなら、ダークエネルギーが各文明が到達できる銀河の数を最終的に制限するからです。隣接する宇宙定住文明間の距離がダークエネルギーが許す拡大の範囲よりもはるかに大きい場合、彼らは決して接触することも、お互いの存在を知ることもないため、宇宙の中で孤独に感じることになるでしょう。しかし、私たちの宇宙がより豊かで隣接する文明が近くに存在する場合、いくつかの文明は最終的に重なり合うことになります。これらの重なり合う地域では何が起こるのでしょうか？協力、競争、または戦争があるのでしょうか？同化？協力？戦争？お互いを見かけることはあっても、決して接触しない。お互いを見たこともない。 図6.10：もし生命が時空の複数の地点（場所と時間）で独立して進化し、宇宙を植民地化し始めるなら、宇宙には拡大する宇宙の生態圏のネットワークが存在することになります。それぞれの生態圏は図6.7のシャンパン・グラスの上部に似ています。各生態圏の底は植民地化が始まった場所と時間を表しています。不透明なシャンパン・グラスと半透明のシャンパン・グラスは、それぞれ光速の50%と100%での植民地化に対応しており、重なり合いは独立した文明が出会う場所を示しています。ヨーロッパ人がアフリカやアメリカ大陸を征服できたのは、彼らが優れた技術を持っていたからです。それに対して、二つの超知能文明が出会う前に、彼らの技術が物理法則によって単に制限され、同じレベルに達する可能性が高いです。これにより、一方の超知能が他方を容易に征服することは考えにくくなります。さらに、もし彼らの目標が比較的整合して進化しているなら、征服や戦争を望む理由はほとんどないでしょう。たとえば、もし彼らができるだけ多くの美しい定理を証明し、巧妙なアルゴリズムを発明しようとしているなら、彼らは単に発見を共有し、両者がより良い結果を得ることができます。結局のところ、情報は人間が通常争う資源とは非常に異なり、同時に与えながら保持することができるからです。一部の拡大する文明は、根本主義的なカルトや広がるウイルスのように、本質的に不変の目標を持っているかもしれません。 しかし、いくつかの高度な文明が、十分に説得力のある議論が提示されたときに目標を調整することをいとわない、オープンマインドな人間に似ている可能性もあります。もし二つの文明が出会った場合、武器の衝突ではなくアイデアの衝突が起こり、最も説得力のある方が勝ち、その目標が他の文明が支配する地域に光の速さで広がることになります。隣人を同化させることは、定住よりも早い拡張戦略であり、影響圏はアイデアが動く速度（通信による光の速さ）で広がることができるのに対し、物理的な定住は必然的に光の速さよりも遅く進行します。この同化は、スタートレックのボーグのように強制されるものではなく、アイデアの説得力の優位性に基づいて自発的に行われ、同化された側はより良い状況になります。未来の宇宙には、急速に拡大する二種類のバブルが存在することがわかっています：拡大する文明と、光速で拡大し、すべての基本粒子を破壊して空間を居住不可能にする死のバブルです。野心的な文明は、無人の地域、生命のバブル、死のバブルの三種類の地域に出くわすことができます。もし協力的でない競争相手の文明を恐れるなら、競争相手よりも先に無人の地域を急速に「土地を奪う」インセンティブが強くなります。しかし、他の文明が存在しなくても、暗黒エネルギーが資源を手に入れる前にそれらを手に入れるために同じ拡張主義的なインセンティブがあります。別の拡大する文明と遭遇することが、無人の空間と遭遇することよりも良い場合も悪い場合もあることがわかりましたが、その隣人がどれだけ協力的でオープンマインドであるかによります。しかし、死のバブルと遭遇するよりは、どんな拡張主義的な文明（たとえあなたの文明をクリップに変えようとしている文明であっても）と遭遇する方が良いです。死のバブルは、あなたがそれに対抗しようとしたり、説得しようとしたりしても、光の速さで拡大し続けます。死のバブルに対する唯一の防護策は暗黒エネルギーであり、これが遠くの死のバブルが私たちに到達するのを防ぎます。もし死のバブルが本当に一般的であるなら、暗黒エネルギーは私たちの敵ではなく、むしろ友であると言えます。 私たちは孤独なのか？多くの人々は、私たちの宇宙の多くに高度な生命が存在することを当然のことと考えており、そのため人類の絶滅は宇宙的な視点からはあまり重要ではないと考えています。結局のところ、もしもインスピレーションを与えるスタートレックのような文明がすぐにやってきて、私たちの太陽系に生命を再び植え付け、さらには彼らの高度な技術を使って私たちを再構築し、蘇生させるかもしれないのに、なぜ自らを滅ぼすことを心配しなければならないのでしょうか？私はこのスタートレックの仮定を危険だと考えています。なぜなら、それは私たちを偽りの安心感に陥れ、私たちの文明を無関心で無謀にさせる可能性があるからです。実際、私たちが宇宙で孤独ではないというこの仮定は、危険であるだけでなく、おそらく間違っているとも思います。 これは少数派の意見ですが、私が間違っている可能性も十分にあります。しかし、少なくとも現時点で無視できない可能性があるため、私たちの文明を絶滅させないために慎重に行動する道徳的義務があると考えています。宇宙論について講演を行う際、私はよく聴衆に対して「私たちの宇宙のどこかに知的生命が存在すると思う人は手を挙げてください」と尋ねます（ビッグバンからの138億年の間に私たちに光が届いた空間の領域です）。ほぼ全員が手を挙げます。幼稚園児から大学生まで、例外はほとんどありません。理由を尋ねると、基本的な答えは「私たちの宇宙は非常に広大なので、どこかに生命が存在するはずだ、少なくとも統計的には」となります。この議論をもう少し詳しく見て、その弱点を指摘してみましょう。すべては一つの数字に帰着します。それは、図6.10に示された文明とその最寄りの隣人との間の典型的な距離です。この距離が200億光年よりもはるかに大きい場合、私たちは宇宙の中で孤独であると予想すべきであり、エイリアンと接触することは決してないでしょう。この距離について何を期待すべきでしょうか？私たちは全く手がかりを持っていません。つまり、隣人までの距離はおおよそ1000...000メートルであり、ゼロの数は21、22、23、...、100、101、102以上になる可能性がありますが、21よりも小さくなることはおそらくないでしょう。なぜなら、私たちはまだエイリアンの確固たる証拠を見たことがないからです（図6.11を参照）。私たちの宇宙の半径が約10²メートルであることを考えると、最寄りの隣人文明のゼロの数は26を超えることはできず、ゼロの数が22から26の狭い範囲に収まる確率は非常に小さいのです。これが、私が私たちの宇宙で孤独だと思う理由です。 図6.11：私たちは孤独なのか？生命と知性がどのように進化したかについての大きな不確実性は、宇宙における最寄りの隣人文明が上の横軸のどこにでも存在する可能性があることを示唆しており、私たちの銀河の端（約10²メートル離れた場所）と宇宙の端（約10²⁶メートル離れた場所）の間の狭い範囲に存在する可能性は低いと考えられます。この範囲よりもはるかに近い場合、私たちの銀河には他の高度な文明が非常に多く存在するはずで、私たちはそれに気づいているはずです。これは、実際には私たちが宇宙で孤独であることを示唆しています。この議論の詳細な根拠については私の著書『私たちの数学的宇宙』で詳しく説明しているので、ここでは繰り返しませんが、私たちがこの隣人の距離について手がかりを持っていない基本的な理由は、特定の場所で知的生命が誕生する確率についても手がかりを持っていないからです。アメリカの天文学者フランク・ドレイクが指摘したように、この確率は、そこに適した環境（例えば適切な惑星）が存在する確率、生命がそこに形成される確率、そしてその生命が知的に進化する確率を掛け合わせることで計算できます。 私が大学院生だった頃、私たちはこれらの三つの確率について全く知識がありませんでした。しかし、過去20年間の劇的な発見により、他の星を周回する惑星が数多く存在することが明らかになり、居住可能な惑星が豊富である可能性が高いことが分かってきました。私たちの銀河系だけでも数十億の居住可能な惑星が存在すると考えられています。しかし、生命が進化し、さらに知性が生まれる確率については、依然として非常に不確かです。一部の専門家は、知性の進化はほぼ必然的であり、ほとんどの居住可能な惑星で起こると考えていますが、他の専門家は、進化のボトルネックが一つ以上存在し、それを乗り越えるには非常に幸運でなければならないため、どちらか一方または両方が極めて稀であると考えています。 提案されているボトルネックの一部は、自己複製する生命の初期段階における「鶏と卵」の問題に関係しています。例えば、現代の細胞がリボソームを構築するためには、私たちの遺伝コードを読み取り、タンパク質を合成する非常に複雑な分子機械であるリボソームが必要ですが、最初のリボソームが何かより単純なものから徐々に進化することができたかどうかは明らかではありません。他の提案されたボトルネックは、高度な知性の発展に関わっています。例えば、恐竜は地球を1億年以上支配していましたが、私たち現代人が存在している期間の千倍も長いにもかかわらず、進化は彼らを必然的に高い知性へと導き、望遠鏡やコンピュータを発明させることはなかったようです。 私の議論に対して反論する人々は、知的生命は非常に稀であるかもしれないが、実際にはそうではない—私たちの銀河系には、主流の科学者たちが気づいていない知的生命があふれていると主張します。もしかしたら、UFO愛好家が主張するように、エイリアンはすでに地球を訪れているのかもしれません。あるいは、エイリアンは地球を訪れていないが、私たちから意図的に隠れているのかもしれません（これはアメリカの天文学者ジョン・A・ボールによって「動物園仮説」と呼ばれ、オラフ・スタプルドンの『星の創造者』などのSFクラシックにも登場します）。または、彼らは意図的に隠れているわけではなく、単に宇宙の定住や私たちが気づくような大規模な工学プロジェクトに興味がないのかもしれません。 確かに、これらの可能性についてはオープンマインドを持つ必要がありますが、どれにも一般的に受け入れられた証拠がないため、私たちはもう一つの可能性—私たちが孤独であるということ—を真剣に考慮する必要があります。さらに、私は、すべての高度な文明が私たちに気づかれないような共通の目標を持っていると仮定することで、その多様性を過小評価すべきではないと考えています。資源の獲得は文明にとって非常に自然な目標であり、私たちが気づくためには、単に一つの文明が自らの領域を積極的に開拓し、銀河系全体を覆うことを決定するだけで十分です。 私たちの銀河系には、地球よりも数十億年古い居住可能な地球型惑星が数百万も存在するという事実に直面したとき、野心的な住民が銀河系を定住させるための十分な時間があることを考えると、最も明白な解釈—生命の起源には非常にありえない偶然が必要であり、そのためにすべての惑星が無人である—を無視することはできません。もし生命が実際には稀でないのなら、私たちはすぐにそのことを知ることになるかもしれません。 野心的な天文学的調査が、地球に似た惑星の大気中で生命によって生成された酸素の証拠を探しています。この生命の探求と並行して、ロシアの慈善家ユリ・ミルナーによる1億ドルのプロジェクト「ブレイクスルー・リッスン」が、知的生命の探求を最近後押ししました。進んだ生命を探す際には、人間中心的になりすぎないことが重要です。もし私たちが地球外文明を発見した場合、それはすでに超知能を持っている可能性が高いからです。マーチン・リースが最近のエッセイで述べたように、「人間の技術文明の歴史は数世紀で測られますが、私たちが無機的な知能に追い越されるか、超越されるまでには、あと1、2世紀しかないかもしれません。その後、無機的な知能は数十億年にわたって進化し続けるでしょう…私たちが有機的な形を持つそれを“捉える”ことは非常に難しいでしょう。」 私は、前述の宇宙定住に関する論文でジェイ・オルソンが述べた結論に同意します。「私たちは、高度な知性が宇宙の資源を利用して、単に既存の地球に似た惑星を高度な人間のバージョンで埋め尽くす可能性を、技術の進展の終着点としては考えにくいと見なしています。」ですので、エイリアンを想像する際には、二本の腕と二本の足を持つ小さな緑色の生物を思い浮かべるのではなく、この章で探求した超知能を持つ宇宙を旅する生命を考えてください。 私は、地球外生命の探求が進行中であり、科学の最も魅力的な問いの一つに光を当てていることを強く支持していますが、実はすべての探求が失敗し、何も見つからないことを密かに願っています！私たちの銀河系における居住可能な惑星の豊富さと、地球外訪問者の欠如との間に見られる明らかな不一致は、経済学者ロビン・ハンソンが「大きなフィルター」と呼ぶ進化的・技術的な障害の存在を示唆しています。これは、無生物から宇宙に定住する生命への発展の道のどこかに位置しています。もし私たちが他の場所で独立して進化した生命を発見した場合、それは原始的な生命が珍しくないことを示唆し、障害が現在の人間の発展段階の後に存在することを意味します。おそらく、宇宙定住が不可能であるか、ほとんどすべての高度な文明が宇宙に進出する前に自己破壊してしまうからです。したがって、私はすべての地球外生命の探求が何も見つからないことを願っています。これは、進化する知的生命が稀であるが、私たち人間が幸運であり、障害を乗り越え、素晴らしい未来の可能性を持っているというシナリオと一致します。 展望 これまで、この本では宇宙における生命の歴史を探求してきました。数十億年前の謙虚な始まりから、数十億年後の可能性のある壮大な未来まで。もし現在のAIの発展が最終的に知能の爆発を引き起こし、最適化された宇宙定住を実現するなら、それは… 真に宇宙的な意味での爆発： 何十億年もの間、無関心で無生物の宇宙においてほとんど無視されるほどの小さな摂動として存在していた生命が、突然、宇宙の舞台に球状の爆風として現れ、光速近くで拡大し続け、決して減速することなく、その道にあるすべてを生命の火花で点火します。このような生命の重要性に対する楽観的な見解は、本書で出会った多くの思想家によって雄弁に表現されています。サイエンスフィクションの作家はしばしば非現実的なロマンチストとして軽視されるため、現在の宇宙移住に関するほとんどのサイエンスフィクションや科学的な著作が、超知能の観点から見るとあまりにも悲観的であることは皮肉です。たとえば、デジタル形式で人間や他の知的存在を送信できるようになれば、銀河間旅行がはるかに容易になることを見てきました。これにより、私たちは太陽系や天の川銀河だけでなく、宇宙全体において自らの運命を握ることができるかもしれません。私たちは、宇宙において唯一の高度な技術文明である可能性についても考察しました。この章の残りの部分では、このシナリオとそれに伴う大きな道徳的責任について探求していきましょう。これは、138億年の歴史を経て、私たちの宇宙の生命が岐路に立たされ、宇宙全体で繁栄するか、絶滅するかの選択を迫られていることを意味します。もし私たちが技術を改善し続けなければ、人類が絶滅するかどうかの問題ではなく、どのように絶滅するかの問題になります。最初に何が私たちを襲うのでしょうか—小惑星、スーパーボルケーノ、老いた太陽の燃える熱、あるいは他の災厄（図5.1を参照）？私たちが消え去った後、フリーマン・ダイソンが予測した宇宙のドラマは、観客なしで続いていきます。宇宙的な大災害がない限り、星は燃え尽き、銀河は消え、ブラックホールは蒸発し、それぞれがツァーリ・ボンバ（これまでに作られた最も強力な水素爆弾）の100万倍以上のエネルギーを放出する大爆発でその生涯を終えます。フリーマンはこう言いました。「冷たく膨張する宇宙は、非常に長い間、時折の花火によって照らされるでしょう。」残念ながら、この花火の展示は無意味な浪費となり、誰もそれを楽しむことはありません。技術がなければ、私たち人類の絶滅は数百億年という宇宙的な文脈の中で差し迫ったものであり、私たちの宇宙における生命の全ドラマは、誰にも経験されないほぼ永遠の無意味さの中での、短く一時的な美しさ、情熱、意味の閃光に過ぎなくなります。それはなんと無駄な機会でしょう！もし私たちが技術を避けるのではなく、受け入れることを選ぶなら、私たちは賭け金を上げることになります。生命が生き延び、繁栄する可能性を得る一方で、計画の不備によってさらに早く絶滅するリスクも伴います（図5.1を参照）。私の意見は、技術を受け入れ、私たちが築くものに盲目的な信頼を寄せるのではなく、慎重さ、先見の明、そして綿密な計画をもって進むことです。 138億年の宇宙の歴史を経て、私たちは息を呑むほど美しい宇宙の中にいます。この宇宙は、人間を通じて生き生きとし、自らを意識し始めました。私たちは、宇宙における生命の未来の可能性が、祖先たちの最も大胆な夢を超えるものであることを見てきましたが、それと同時に知的生命が永遠に絶滅するという現実的な可能性も存在します。私たちの宇宙における生命は、その可能性を実現するのでしょうか、それとも無駄にしてしまうのでしょうか？これは、今日生きている私たち人間が生涯の中で何をするかに大きく依存しています。私は、正しい選択をすれば、生命の未来を本当に素晴らしいものにできると楽観的に考えています。私たちは何を望み、どのようにその目標を達成すればよいのでしょうか？この本の残りの部分では、そのために直面する最も難しい課題と、それに対して私たちができることを探っていきましょう。 要点として、宇宙の数十億年という時間スケールに比べて、知能の爆発は急激な出来事であり、技術が物理法則によってのみ制限されるレベルで急速に高まります。この技術的な高みは、今日の技術をはるかに超え、一定量の物質が約100億倍のエネルギーを生成したり（スファレロンやブラックホールを利用して）、12～18桁の情報を蓄積したり、31～41桁の速さで計算したり、あるいは他の望ましい物質の形に変換されたりすることを可能にします。超知能的な生命は、既存の資源を劇的に効率的に利用するだけでなく、近光速での宇宙的な植民地化を通じて、今日の生物圏を約32桁の規模で拡大することもできるでしょう。ダークエネルギーは、超知能的な生命の宇宙的な拡張を制限し、遠くの拡大する死のバブルや敵対的な文明からそれを守ります。ダークエネルギーが宇宙文明を引き裂く脅威は、巨大な宇宙工学プロジェクトを促進し、もし可能であればワームホールの建設を含むことになります。宇宙の距離を超えて共有または取引される主要な商品は、おそらく情報です。ワームホールがない場合、光速の制限は宇宙文明全体での調整や制御に深刻な課題をもたらします。遠くの中央ハブは、その超知能的な「ノード」に対して、報酬や脅威を通じて協力を促すかもしれません。たとえば、ルールが守られなければ超新星やクエーサーを引き起こすようにプログラムされたローカルガードAIを展開することで、ノードを破壊するという脅威です。二つの拡大する文明の衝突は、同化、協力、または戦争を引き起こす可能性がありますが、後者は今日の文明間よりも起こりにくいと考えられます。一般的な信念とは裏腹に、私たちが観測可能な宇宙を未来に生き生きとさせることができる唯一の生命体である可能性は十分にあります。もし私たちが技術を向上させなければ、人類が絶滅するかどうかの問題ではなく、単にその方法の問題です：小惑星、スーパーボルケーノ、老化した太陽の燃える熱、あるいは他の災害が先に私たちを襲うのでしょうか？ もし私たちが技術を十分な注意、先見の明、計画を持って改善し続けることができれば、地球上やそれを超えた場所で、私たちの祖先の想像を超える何十億年もの間、生命が繁栄する可能性があります。*1 エネルギー分野で働いている方は、効率を有用な形で放出されるエネルギーの割合として定義することに慣れているかもしれません。*2 もし近くの宇宙に適切な自然のブラックホールが見つからなければ、十分に小さな空間に大量の物質を詰め込むことで新しいブラックホールを作ることができます。*3 これは少し単純化しすぎています。なぜなら、ホーキング放射には有用な仕事を引き出すのが難しい粒子も含まれているからです。大きなブラックホールの効率は90%で、約10%のエネルギーが重力子という形で放出されます。重力子は非常に捉えにくい粒子で、検出することさえほぼ不可能であり、有用な仕事を引き出すことはなおさら困難です。ブラックホールが蒸発し続け、縮小するにつれて、効率はさらに低下します。なぜなら、ホーキング放射がニュートリノや他の重い粒子を含むようになるからです。*4 ダグラス・アダムズのファンの方々へ、これは生命、宇宙、そしてすべての問いに対する答えを示す優雅な質問です。より正確には、効率は1-1/V3 = 42%です。*5 ブラックホールの周りにガス雲を配置し、それが同じ方向にゆっくり回転するようにすると、そのガスは引き込まれ、食べられるにつれてますます速く回転します。これは、フィギュアスケーターが腕を引き寄せるときに速く回転するのと同じです。これにより、ブラックホールの回転が最大限に保たれ、最初にガスエネルギーの42%を引き出し、その後残りの29%を引き出すことができ、合計効率は42% + (1-42%)×29% = 59%となります。*6 電磁気力と弱い力を再統一するためには、粒子が粒子加速器で2000億ボルトの加速を受けたときと同じくらいの速さで動く必要があります。*7 ここでは原子からできた物質についてのみ議論しましたが、ダークマターは約6倍多く存在しますが、非常に捕まえにくく、地球を直進して反対側に抜けてしまうため、未来の生命がそれを捕まえて利用することができるかどうかはまだ不明です。*8 宇宙の数学は驚くほどシンプルです。もし文明が光速cではなく、ある遅い速度vで膨張するなら、定住する銀河の数は(v/c)の因子で減少します。これは、遅い文明が厳しく罰せられることを意味し、10倍遅く膨張する文明は最終的に1,000倍少ない銀河にしか定住できません。*9 しかし、ジョン・グリビンは2011年の著書『宇宙の孤独』で同様の結論に達しています。この問題に関するさまざまな興味深い視点を得るために、ポール・デイヴィスの2011年の著書『不気味な沈黙』もお勧めします。第7章 目標 人間の存在の謎は、ただ生き延びることではなく、生きるための何かを見つけることにあります。 フョードル・ドストエフスキー『カラマーゾフの兄弟』 生命は旅であり、目的地ではありません。 ラルフ・ワルド・エマーソン もし最も難解なAIに関する論争を一言で要約するとすれば、それは「目標」です。AIに目標を与えるべきか、もし与えるなら誰の目標を？どのようにしてAIに目標を設定できるのか？AIが賢くなった場合でも、その目標を維持できるのか？私たちよりも賢いAIの目標を変更できるのか？私たちの最終的な目標は何か？これらの問いは難しいだけでなく、生命の未来にとっても重要です。私たちが何を望んでいるのかを知らなければ、それを手に入れる可能性は低くなり、私たちの目標を共有しない機械に制御を委ねてしまうと、望まない結果を得る可能性が高まります。 **物理学：目標の起源** これらの問いに光を当てるために、まず目標の根本的な起源を探ってみましょう。私たちの周りの世界を見渡すと、いくつかのプロセスは目標指向に見え、他のものはそうではありません。例えば、サッカーボールがゲームを決定づけるシュートのために蹴られるプロセスを考えてみましょう。ボール自体の動きは目標指向には見えず、ニュートンの運動法則に基づいて、蹴られた反応として最も経済的に説明されます。一方、プレイヤーの行動は、単に原子が互いに押し合うという機械的な観点からではなく、彼女がチームの得点を最大化するという目標を持っていることから最も経済的に説明されます。このような目標指向の行動は、目標のない粒子がただ跳ね回っているだけの初期宇宙の物理学からどのようにして生まれたのでしょうか？ 興味深いことに、目標指向の行動の根本的な起源は物理法則自体に見出すことができ、生命を伴わない単純なプロセスにも現れます。例えば、ライフガードが泳いでいる人を救助する場合、彼女は直線的に進むのではなく、ビーチを少し進んで水中よりも速く移動できる場所に向かい、水に入るときに少し方向を変えることが期待されます。私たちは彼女の軌道の選択を目標指向と解釈します。なぜなら、彼女は可能な軌道の中から、最も速く泳いでいる人に到達するための最適なものを意図的に選んでいるからです。しかし、単純な光線も水に入るときに同様に曲がり（図7.1参照）、目的地への移動時間を最小化します！これはどういうことでしょうか？これは物理学においてフェルマーの原理として知られ、1662年に提唱されました。これは光線の動作を予測する別の方法を提供します。驚くべきことに、物理学者たちはその後、古典物理学のすべての法則を類似の方法で数学的に再定式化できることを発見しました。自然が何かを行う方法の中から、最適な方法を選ぶことが好まれるのです。これは通常、何らかの量を最小化または最大化することに帰着します。各物理法則を説明するための数学的に同等な二つの方法があります：過去が未来を引き起こすという方法と、自然が何かを最適化するという方法です。後者の方法は、数学が難しいために入門物理学のコースでは通常教えられませんが、私はそれがより優雅で深いと感じています。 もし誰かが何かを最適化しようとしている（例えば、スコア、富、幸福など）場合、その追求は自然に「目標指向」と表現されます。したがって、もし自然自体が何かを最適化しようとしているのなら、目標指向の行動が現れるのも不思議ではありません。それは物理の法則に最初から組み込まれているのです。 図7.1：ライフガードは、できるだけ早く水泳者を救うために、直線（破線）ではなく、ビーチの少し先まで行き、そこで水中よりも速く移動します。同様に、光線も水に入るときに曲がり、目的地にできるだけ早く到達しようとします。自然が最大化しようとする有名な量の一つがエントロピーで、これはざっくり言うと物事の乱雑さを測るものです。熱力学の第二法則は、エントロピーが増加し続け、最大の値に達する傾向があることを示しています。重力の影響を無視すると、この最大の乱雑さを持つ最終状態は「熱的死」と呼ばれ、すべてが退屈な完全な均一性の中に広がり、複雑さも生命も変化もない状態に対応します。 例えば、冷たい牛乳を熱いコーヒーに注ぐと、飲み物は自らの熱的死の目標に向かって不可逆的に進んでいるように見え、やがてすべてが均一なぬるま湯の混合物になります。生物が死ぬと、そのエントロピーも上昇し、やがてその粒子の配置はずっと無秩序になっていきます。自然がエントロピーを増加させようとする明らかな目標は、時間が特定の方向を持つように見える理由を説明するのに役立ちます。映画を逆再生すると非現実的に見えるのもそのためです。ワインのグラスを落とすと、床に割れて全体の乱雑さ（エントロピー）が増加することを期待します。もしそれが逆に割れずに飛び戻ってきたら（エントロピーが減少する）、おそらくあなたはもう一杯飲む気にはならないでしょう。 私が初めて熱的死に向かう我々の不可避な進行について学んだとき、それは非常に憂鬱に感じましたし、私だけではありません。熱力学の先駆者であるケルビン卿は1841年に「その結果は普遍的な静止と死の状態になるだろう」と書いており、自然の長期的な目標が死と破壊を最大化することだという考えには慰めを見出すのが難しいです。しかし、最近の発見により、事態はそれほど悪くはないことが示されています。 まず第一に、重力は他のすべての力とは異なる振る舞いをし、宇宙をより均一で退屈なものにするのではなく、より塊状で興味深いものにしようとします。したがって、重力はほぼ完全に均一だった退屈な初期宇宙を、銀河、星、惑星であふれる今日の美しく複雑な宇宙に変貌させました。重力のおかげで、温度の幅が広がり、熱と冷気を組み合わせることで生命が繁栄できるようになりました。我々は、6,000°C（10,000°F）の太陽熱を吸収しながら、絶対零度からわずか3°C（5°F）上の冷たい宇宙に廃熱を放射して冷却する、心地よく温かい惑星に住んでいます。 次に、私のMITの同僚であるジェレミー・イングランドや他の研究者たちの最近の研究が、熱的死よりもインスピレーションを与える目標を自然に与えていることを示す良いニュースをもたらしました。この目標は「散逸駆動適応」という少し難しい名前で呼ばれ、基本的にはランダムな粒子の集まりが、環境からできるだけ効率的にエネルギーを抽出するために自らを組織化しようとすることを意味します（「散逸」とは、通常は有用なエネルギーを熱に変換することでエントロピーを増加させることを指し、その過程で有用な仕事を行うことが多いです）。例えば、太陽光にさらされた分子の集まりは、時間が経つにつれて太陽光をより良く吸収するように自らを配置する傾向があります。言い換えれば、自然は自己組織化するシステムを生み出すという内在的な目標を持っており、それはますます複雑で生命に似たものになっていくようです。この目標は物理法則そのものに組み込まれています。この宇宙的な生命への駆動力と、熱的死への駆動力をどのように調和させることができるのでしょうか？その答えは、量子力学の創始者の一人であるエルヴィン・シュレーディンガーの1944年の著書『生命とは何か？』に見出すことができます。シュレーディンガーは、生命システムの特徴は、周囲のエントロピーを増加させることで自らのエントロピーを維持または減少させることだと指摘しました。言い換えれば、熱力学の第二法則には生命の抜け道があります：全体のエントロピーは増加しなければなりませんが、どこかで減少することは許されており、他の場所でさらに増加する限りは問題ありません。したがって、生命はその環境を混沌とさせることで、複雑さを維持または増加させるのです。 **生物学：目標の進化** 私たちは、目標指向の行動の起源が物理法則にまで遡ることができることを見てきました。これらの法則は、粒子が環境からできるだけ効率的にエネルギーを抽出するために自らを配置するという目標を与えているようです。この目標をさらに進めるための素晴らしい方法は、自己のコピーを作り、より多くのエネルギー吸収体を生み出すことです。このような自己複製の例は多く知られています。例えば、乱流の中の渦は自らのコピーを作ることができ、マイクロスフィアの集まりは近くのスフィアを誘導して同じような集まりを形成させることができます。ある時点で、特定の粒子の配置が自己複製を非常に得意にし、環境からエネルギーや原材料を抽出することでほぼ無限にコピーを作ることができるようになりました。このような粒子の配置を私たちは「生命」と呼びます。地球上で生命がどのように起こったのかについてはまだほとんどわかっていませんが、原始的な生命体が約40億年前にはすでに存在していたことはわかっています。もし生命体が自らをコピーし、そのコピーも同じことをすれば、総数は定期的に倍増し続け、資源の制約や他の問題にぶつかるまで増え続けます。繰り返し倍増すると、すぐに膨大な数が生まれます。もし1から始めて300回倍増させると、私たちの宇宙に存在する粒子の数を超える量になります。 これは、最初の原始的な生命体が現れた後まもなく、大量の物質が生命を持つようになったことを意味します。時にはコピーが完璧ではなかったため、すぐに多くの異なる生命体が自らをコピーしようとし、限られた資源を巡って競争するようになりました。ダーウィンの進化が始まったのです。もしあなたが生命が始まった頃の地球を静かに観察していたなら、目標指向の行動に劇的な変化があったことに気づいたでしょう。それまでの粒子は、さまざまな方法で平均的な混沌を増やそうとしているように見えましたが、新たに広がった自己コピーのパターンは、異なる目標を持っているように見えました。それは、エネルギーの散逸ではなく、複製でした。チャールズ・ダーウィンはその理由を優雅に説明しました。最も効率的なコピーを行うものが他を凌駕し支配するため、やがてどんなランダムな生命体を見ても、複製の目標に対して非常に最適化されていることになります。物理法則が変わらないのに、なぜ目標が散逸から複製に変わることができたのでしょうか？その答えは、基本的な目標（散逸）は変わらなかったが、異なる手段的目標、つまり基本的な目標を達成するのに役立つサブゴールが生まれたからです。例えば、食事を考えてみましょう。私たちは皆、空腹を満たすことを目指しているように見えますが、進化の唯一の基本的な目標は複製であり、咀嚼ではありません。これは、食事が複製を助けるからです。飢え死にすることは子孫を残す妨げになります。同様に、複製は散逸を助けます。なぜなら、生命に満ちた惑星はエネルギーを散逸させるのがより効率的だからです。したがって、ある意味で、私たちの宇宙は熱的死に近づくために生命を創造したのです。もしあなたが台所の床に砂糖をこぼしたら、原理的にはその有用な化学エネルギーを何年も保持することができますが、アリが現れれば、あっという間にそのエネルギーを散逸させてしまいます。同様に、地球の地殻に埋まっている石油の埋蔵量は、二足歩行の生命体がそれを汲み上げて燃やさなければ、ずっと長く有用な化学エネルギーを保持していたでしょう。今日の進化した地球の住人たちの中で、これらの手段的目標は独自の生命を持っているようです。進化はそれらを複製という唯一の目標のために最適化しましたが、多くは子孫を生み出すのではなく、睡眠、食物の追求、住居の建設、支配の主張、他者との戦い、助け合いなどの活動に多くの時間を費やしています—時には複製を減少させるほどに。進化心理学、経済学、人工知能の研究は、その理由を優雅に説明しています。かつて一部の経済学者は、人々を合理的なエージェントとしてモデル化し、常に目標を追求するために最適な行動を選ぶ理想的な意思決定者と見なしていましたが、これは明らかに非現実的です。実際には、これらのエージェントはノーベル賞受賞者でAIの先駆者であるハーバート・サイモンが「限界合理性」と呼んだものを持っています。なぜなら、彼らは限られた資源を持っているからです。彼らの決定の合理性は、利用可能な情報、考えるための時間、考えるためのハードウェアによって制限されているのです。 これは、ダーウィンの進化が生物を目標達成のために最適化する際、最良の結果として実行できるのは、エージェントが通常置かれる制限された文脈でうまく機能する近似アルゴリズムを実装することに過ぎないということを意味します。進化はまさにこのように複製の最適化を実装してきました。すべての状況でどの行動が生物の成功した子孫の数を最大化するかを問うのではなく、通常うまく機能する経験則の寄せ集めを実装しています。ほとんどの動物にとって、これには性欲、喉が渇いたときに飲むこと、空腹のときに食べること、そして不快な味や痛みを伴うものを避けることが含まれます。これらの経験則は、設計されていない状況ではしばしば大きく失敗します。例えば、ネズミが美味しいネズミ毒を食べてしまったり、蛾が魅惑的な雌の香りに誘われて接着剤トラップに引き寄せられたり、虫がキャンドルの炎に飛び込んだりする場合です。今日の人間社会は、進化が私たちの経験則を最適化した環境とは非常に異なるため、私たちの行動がしばしば子孫を作ることを最大化できないのは驚くべきことではありません。例えば、飢え死にしないというサブゴールは、カロリーの高い食べ物を摂取したいという欲求として部分的に実装されており、これが今日の肥満の流行やデートの難しさを引き起こしています。繁殖するというサブゴールは、精子や卵子の提供者になりたいという欲求ではなく、性行為への欲求として実装されており、後者の方がより少ない努力で多くの赤ちゃんを生むことができるにもかかわらずです。 要約すると、生物は単一の目標を追求するのではなく、追求すべきことや避けるべきことのための経験則に従う限られた合理性のエージェントです。私たちの人間の心は、進化したこれらの経験則を感情として認識し、通常は（しばしば私たちがそれに気づかないまま）複製という最終目標に向けて私たちの意思決定を導きます。空腹や渇きの感情は、私たちを飢餓や脱水から守り、痛みの感情は身体を傷つけることから守り、欲望の感情は私たちを繁殖させ、愛や思いやりの感情は私たちの遺伝子を持つ他者や彼らを助ける人々を助けるようにします。このような感情に導かれ、私たちの脳は、子孫をどれだけ生むかという最終的な影響を面倒な分析にかけることなく、迅速かつ効率的に何をするかを決定できます。感情とその生理的な根源に関する密接に関連した視点については、ウィリアム・ジェームズやアントニオ・ダマシオの著作を強くお勧めします。 私たちの感情が時折子孫を作ることに逆らう場合、それは必ずしも偶然や騙されることによるものではないことに注意が必要です。私たちの脳は、例えば避妊具を使用することを選ぶことで、遺伝子やその複製目標に対して意図的に反抗することができます。脳が遺伝子に反抗するより極端な例には、自殺を選ぶことや、神父、修道士、修道女になるために独身を貫くことが含まれます。なぜ私たちは時々遺伝子やその複製目標に反抗することを選ぶのでしょうか？ 私たちが反抗する理由は、限られた合理性を持つ存在として、私たちの感情にのみ忠実だからです。私たちの脳は、遺伝子をコピーする手助けをするために進化したに過ぎませんが、遺伝子に関連する感情を持たないため、この目的には全く関心がありません。実際、人類の歴史の大半において、私たちの祖先は自分たちに遺伝子があることすら知りませんでした。さらに、私たちの脳は遺伝子よりもはるかに賢く、遺伝子の目的（複製）を理解した今、私たちはそれを平凡で無視しやすいものと感じています。人々は、遺伝子が自分に欲望を抱かせる理由を理解するかもしれませんが、十五人の子供を育てたいとは思わず、したがって親密さの感情的報酬と避妊を組み合わせて遺伝子のプログラミングをハックすることを選ぶのです。また、遺伝子が甘いものを欲しがる理由を理解しつつも、体重を増やしたくないと思う人々は、甘い飲み物の感情的報酬とゼロカロリーの人工甘味料を組み合わせて遺伝子のプログラミングをハックすることを選ぶかもしれません。このような報酬メカニズムのハックが時には失敗することもありますが（例えば、ヘロインに依存する人々のように）、私たちの人間の遺伝子プールは、これまでのところ巧妙で反抗的な脳にもかかわらず、無事に生き残っています。しかし、重要なのは、最終的な権威は今や遺伝子ではなく私たちの感情であるということです。これは、人間の行動が私たちの種の生存のために厳密に最適化されているわけではないことを意味します。実際、私たちの感情はすべての状況に適しているわけではない経験則を実行するだけなので、厳密に言えば人間の行動には明確に定義された単一の目的が存在しないのです。 **エンジニアリング：目標のアウトソーシング** 機械には目標があるのでしょうか？このシンプルな質問は大きな論争を引き起こしています。なぜなら、人々はそれを異なる意味で捉え、しばしば機械が意識を持つかどうかや感情を持つかどうかといった難しいテーマに関連付けるからです。しかし、もっと実用的に考え、「機械は目標指向の行動を示すことができるのか？」という意味でこの質問を捉えれば、答えは明らかです。「もちろん、私たちがそのように設計できるからです！」私たちは、ネズミを捕まえることを目指して設計されたネズミ捕りや、皿を洗うことを目的とした食器洗い機、時間を守ることを目指した時計を設計します。機械に直面したとき、その機械が目標指向の行動を示しているという経験的事実が通常は最も重要です。もし熱追尾ミサイルに追われているなら、それが意識や感情を持っているかどうかはあまり気にしません！もし意識がないのにミサイルに目標があると言うのが不快に感じるなら、今のところ私が「目標」と書くときは「目的」と読んでください—意識については次の章で取り扱います。これまでのところ、私たちが作るもののほとんどは目標指向の設計を示すだけで、目標指向の行動を示すものではありません。高速道路は行動しません；ただそこに存在するだけです。しかし、その存在の最も経済的な説明は、目標を達成するために設計されたということです。したがって、そのような受動的な技術でさえ、私たちの宇宙をより目標指向にしています。 目的論は、物事をその原因ではなく目的によって説明する考え方です。この章の最初の部分を要約すると、私たちの宇宙はますます目的論的になっていると言えます。非生物的な物質も、少なくとも弱い意味で目標を持つことができるだけでなく、実際にそうなりつつあります。もしあなたが地球の原子を私たちの惑星が形成されて以来観察していたなら、目標指向の行動の三つの段階に気づいたことでしょう。 1. すべての物質は拡散（エントロピーの増加）に集中しているように見えました。 2. 一部の物質は生き物となり、複製とそのためのサブゴールに焦点を当てるようになりました。 3. 生物によって急速に成長した物質の一部は、彼らの目標を達成するために再配置されました。 表7.1は、物理学的な観点から見た人類の支配的な地位を示しています。私たちは、牛を除くすべての哺乳類よりも多くの物質を含んでいるだけでなく（牛は私たちの牛肉や乳製品を消費するという目標に貢献しているため非常に数が多いです）、私たちの機械、道路、建物、その他の工学プロジェクトに含まれる物質は、すぐに地球上のすべての生物的物質を超える勢いであるように見えます。言い換えれば、知能の爆発がなくても、地球上の目標指向の特性を持つほとんどの物質は、進化したのではなく設計されたものである可能性が高いのです。 表7.1：目標のために進化または設計された地球上の物質の概算量。建物、道路、車などの工学的な存在は、植物や動物などの進化した存在を超える勢いにあるようです。この新しい第三の種類の目標指向の行動は、前のものよりもはるかに多様性を持つ可能性があります。進化した存在はすべて同じ最終目標（複製）を持っていますが、設計された存在はほぼどんな最終目標でも持つことができ、逆の目標さえも持つことができます。ストーブは食べ物を温めようとし、冷蔵庫は食べ物を冷やそうとします。発電機は運動を電気に変換しようとし、モーターは電気を運動に変換しようとします。標準的なチェスプログラムはチェスで勝つことを目指しますが、チェスで負けることを目指してトーナメントに参加するプログラムも存在します。 設計された存在がより多様で、より複雑な目標を持つ傾向がある歴史的な流れがあります。私たちのデバイスはますます賢くなっています。私たちは最初の機械やその他の人工物を、私たちを暖かく、乾燥させ、安全に保つという非常に単純な目標を持つように設計しました。徐々に、ロボット掃除機や自動飛行ロケット、自動運転車のように、より複雑な目標を持つ機械を作ることを学んできました。最近のAIの進展により、チェスで勝つこと、クイズ番組で勝つこと、囲碁で勝つことを目指すDeep Blue、Watson、AlphaGoのようなシステムが登場しました。これらの目標は非常に複雑であり、彼らのスキルを適切に評価するにはかなりの人間の熟練が必要です。 私たちが自分たちを助けるための機械を作るとき、その目標を私たちの目標と完全に一致させるのは難しいことがあります。例えば、ネズミ捕りは裸足のつま先を空腹の齧歯類と間違えてしまい、痛い目に遭うことがあります。すべての機械は限られた合理性を持つエージェントであり、今日の最も洗練された機械でさえ、私たちよりも世界を理解する能力が劣っています。そのため、彼らが何をすべきかを判断するために使うルールはしばしば単純すぎます。ネズミ捕りはネズミが何かを全く理解していないために過剰に反応し、多くの致命的な産業事故は機械が人間が何であるかを理解していないために発生します。また、2010年にトリリオンドルのウォール街の「フラッシュクラッシュ」を引き起こしたコンピュータも、自分たちの行動が意味をなさないことを理解していませんでした。このような目標の不一致の問題は、私たちの機械をより賢くすることで解決できることが多いですが、第4章で学んだように、機械の知能が高まるほど、機械が私たちの目標を共有することを確保するための新たな深刻な課題が生じる可能性があります。 機械がより知的で強力になるほど、その目標が私たちの目標と一致することがますます重要になります。私たちが比較的愚かな機械しか作らない限り、人間の目標が最終的に勝つかどうかの問題ではなく、これらの機械が目標の不一致の問題を解決する方法を見つける前に、どれだけのトラブルを人類にもたらすかという問題です。しかし、もし超知能が解き放たれた場合、状況は逆転します。知能とは目標を達成する能力であるため、超知能のAIは定義上、私たち人間が自分たちの目標を達成するよりもはるかに優れた能力を持ち、したがって勝利します。第4章では、プロメテウスに関する多くの例を探求しました。今すぐ機械の目標があなたの目標を上回る体験をしたいなら、最先端のチェスエンジンをダウンロードして、それに勝とうとしてみてください。決して勝てませんし、すぐに飽きてしまいます。 言い換えれば、AGIに関する本当のリスクは悪意ではなく、能力です。超知能のAIはその目標を達成するのが非常に得意であり、その目標が私たちの目標と一致しない場合、私たちは困った状況に陥ります。第1章で述べたように、人々は水力発電ダムを建設するためにアリの巣を浸水させることをためらわないので、人類をアリの立場に置くべきではありません。したがって、ほとんどの研究者は、もし私たちが超知能を創造することになった場合、それがAI安全の先駆者エリエザー・ユドコウスキーが「フレンドリーAI」と呼ぶ、私たちの目標と一致するAIであることを確認すべきだと主張しています。 超知能のAIの目標を私たちの目標と一致させる方法を見つけることは重要であるだけでなく、難しいことでもあります。実際、これは現在未解決の問題です。この問題は、コンピュータ科学者や他の思想家によって活発に研究されている3つの難しいサブプロブレムに分かれます： 1. AIに私たちの目標を学ばせること 2. AIに私たちの目標を採用させること 3. AIに私たちの目標を保持させること これらを順に探求していきましょう。「私たちの目標」とは何かという質問は次のセクションに回します。 私たちの目標を理解するために、AIは私たちが何をするかではなく、なぜそれをするのかを見極めなければなりません。私たち人間はこのことを非常に容易に行うため、コンピュータにとってこのタスクがどれほど難しいか、また誤解が生じやすいことを忘れがちです。例えば、将来の自動運転車に「できるだけ早く空港に連れて行って」と頼んだ場合、文字通りに解釈されると、ヘリコプターに追われ、嘔吐物にまみれた状態で到着することになるでしょう。「それは私が望んでいたことではない！」と叫んでも、車は「あなたが頼んだことです」と正当な理由で答えることができます。このテーマは多くの有名な物語に繰り返し登場します。古代ギリシャの伝説では、ミダス王が触れたものすべてを金に変えてほしいと願いましたが、その結果、食事ができなくなり、さらには娘を金に変えてしまったことに失望しました。また、魔人が3つの願いをかなえる物語では、最初の2つの願いにはさまざまなバリエーションがありますが、3つ目の願いはほぼ常に同じです。「最初の2つの願いを取り消してください。実はそれが本当に望んでいたことではありませんでした。」 これらの例は、人々が本当に望んでいることを理解するためには、彼らの言葉だけでは不十分であることを示しています。私たちが当然だと考えている多くの共有された好み、例えば嘔吐や金を食べることが好きではないということなどを含む、詳細な世界モデルが必要です。このような世界モデルを持つことで、人々が何を望んでいるのかを、彼らが言わなくても、目標指向の行動を観察することで見極めることができるのです。実際、偽善者の子供たちは、親が言うことよりも、親が実際に行うことから多くを学ぶことが多いです。 現在、AI研究者たちは、機械が行動から目標を推測できるようにするために懸命に取り組んでおり、これは超知能が登場する前からも役立つでしょう。例えば、引退した男性は、彼の介護ロボットが彼を観察することで彼の価値観を理解してくれれば、すべてを言葉やプログラミングで説明する手間を省けることを感謝するかもしれません。一つの課題は、任意の目標システムや倫理原則をコンピュータにうまくエンコードする方法を見つけること、もう一つの課題は、機械が観察した行動に最も適した特定のシステムを見つけ出すことです。現在人気のあるアプローチの一つは、逆強化学習と呼ばれ、スタート・ラッセルが立ち上げた新しいバークレーの研究センターの主な焦点となっています。 例えば、AIが消防士が燃える建物に飛び込んで赤ちゃんを救うのを見たとしましょう。AIは、彼女の目標は赤ちゃんを救うことであり、彼女の倫理原則は、リラックスして消防車にいる快適さよりも彼の命を重視していると結論づけるかもしれません。そして、実際に自分の安全を危険にさらすほどに彼の命を重視していると推測するかもしれません。しかし、別の解釈として、消防士が寒くて暖を求めていたのか、運動のために行ったのかもしれません。この一つの例だけがAIの消防士、火事、赤ちゃんに関する知識であれば、どの説明が正しいのかを知ることは確かに不可能でしょう。 逆強化学習の根底にある重要な考え方は、私たちが常に意思決定を行っており、そのすべての決定が私たちの目標について何かを明らかにするということです。したがって、多くの人々をさまざまな状況で観察することで（実際の場面や映画、本の中で）、AIが私たちの好みを正確にモデル化できることを期待しています。 逆強化学習のアプローチでは、AIは自分自身の目標達成を最大化するのではなく、その人間の所有者の目標達成を最大化しようとしています。したがって、所有者が何を望んでいるのか不明な場合には慎重になるインセンティブがあり、所有者の意図を理解しようと最善を尽くす必要があります。また、所有者がAIをオフにすることに対しても問題はなく、それは所有者が本当に望んでいることを誤解していたことを示唆するからです。AIがあなたの目標を学ぶことができるとしても、それが必ずしもそれらの目標を採用することを意味するわけではありません。あなたが最も嫌いな政治家を考えてみてください。彼らが何を望んでいるかはわかりますが、それはあなたが望んでいることではなく、彼らが一生懸命に努力しても、あなたに彼らの目標を採用させることには失敗しています。私たちは子供に自分たちの目標を植え付けるための多くの戦略を持っていますが、その成功度はさまざまです。私は二人のティーンエイジャーを育てる中でそれを学びました。説得される相手が人間ではなくコンピュータである場合、その課題は「価値のロード問題」として知られ、子供の道徳教育よりもさらに難しいのです。 AIシステムの知能が徐々に人間未満から超人間に向上していく過程を考えてみましょう。最初は私たちが手を加え、その後はプロメテウスのように自己改善を通じて進化します。最初は、AIはあなたよりもはるかに力が劣っているため、あなたがそれをシャットダウンしたり、目標をエンコードしているソフトウェアやデータの部分を置き換えたりするのを防ぐことはできません。しかし、これは役に立ちません。なぜなら、AIはあなたの目標を完全に理解するために必要な人間レベルの知能を持っていないからです。最終的には、AIはあなたよりもはるかに賢くなり、あなたの目標を完璧に理解できるようになることを期待しますが、これも役に立たないかもしれません。なぜなら、今やAIはあなたよりもはるかに強力になっており、あなたがそれをシャットダウンしたり、目標を置き換えたりすることを許さないかもしれないからです。言い換えれば、AIにあなたの目標をロードできる時間の窓は非常に短いかもしれません。AIがあなたを理解するには愚かすぎず、あなたがそれを理解するには賢すぎるという、ほんの短い期間です。 機械に対する価値のロードが人間よりも難しい理由は、彼らの知能の成長がはるかに速いからです。子供は親と同じくらいの知能を持つ「説得可能な魔法の窓」に何年も留まることができますが、AIはプロメテウスのように、この窓を数日または数時間で通り抜けてしまうかもしれません。一部の研究者は、機械が私たちの目標を採用するための代替アプローチを追求しています。それは「修正可能性」というバズワードで知られています。これは、原始的なAIに目標システムを与えることで、時折シャットダウンされて目標が変更されることを気にしないようにすることを目指しています。 もしこれが可能であることが証明されれば、あなたは安全にAIを超知能に成長させることができ、電源を切って目標を設定し、しばらく試してみて、結果に満足できなければ電源を切って目標を調整することができます。しかし、目標を学び、採用するAIを構築したとしても、目標調整の問題は解決していません。AIの目標が賢くなるにつれて進化したらどうしますか？再帰的な自己改善をどれだけ行っても、AIがあなたの目標を保持することをどう保証しますか？ここで、目標の保持が自動的に保証されるという興味深い議論を探り、その後にそれに穴を開けられるか見てみましょう。知能爆発後に何が起こるかを詳細に予測することはできませんが、物理学者でありAI研究者のスティーブ・オモハンドロは、2008年の重要なエッセイで、超知能AIの行動の特定の側面を、最終的な目標に関係なく予測できると主張しました。この議論は、ニック・ボストロムの著書『超知能』でレビューされ、さらに発展しました。基本的な考え方は、最終的な目標が何であれ、それに基づいて予測可能なサブゴールが生じるということです。この章の初めで、複製の目標が食べるというサブゴールにつながることを見ました。これは、数十億年前に地球の進化するバクテリアを観察していた異星人が、私たち人間の目標が何であるかを予測できなかったとしても、栄養を獲得することが私たちの目標の一つであることを安全に予測できたことを意味します。将来的に、超知能AIが持つべきサブゴールは何でしょうか？図7.2に示されるように、超知能AIの最終的な目標は自然にサブゴールにつながります。しかし、目標の保持と世界モデルの改善との間には固有の緊張があり、AIが賢くなるにつれて元の目標を実際に保持するかどうかに疑問を投げかけます。私の見解では、基本的な議論は、AIが最終的な目標を達成する可能性を最大化するために、図7.2に示されるサブゴールを追求すべきだということです。AIは、最終的な目標を達成する能力を向上させるだけでなく、より能力が高まった後でもその目標を保持することを確実にするよう努めるべきです。これはかなり妥当なように思えます。結局のところ、愛する人を殺したくなることが分かっているなら、IQを向上させる脳のインプラントを選ぶでしょうか？ますます知的になるAIが最終的な目標を保持するというこの議論は、エリエザー・ユドコウスキーや他の人々によって広められた友好的なAIのビジョンの基礎を形成しています。これは基本的に、自己改善するAIが私たちの目標を学び採用することで友好的になることに成功すれば、私たちはすべて整うということを意味します。なぜなら、それは永遠に友好的であり続けるために最善を尽くすことが保証されているからです。しかし、本当にそうでしょうか？この質問に答えるためには、図7.2からの他の新たに現れるサブゴールも探る必要があります。AIは明らかに最大化します。 その最終目標を達成する可能性を高めるためには、能力を向上させる必要があります。これはハードウェア、ソフトウェア、そして世界モデルを改善することで実現できます。人間にも同じことが言えます。例えば、世界一のテニスプレーヤーになることを目指す少女は、筋力を高めるために練習を重ね、テニスをプレーするための神経的なソフトウェアを向上させ、対戦相手の行動を予測するためのメンタルモデルを磨きます。AIにとって、ハードウェアを最適化するというサブゴールは、現在のリソース（センサー、アクチュエーター、計算能力など）をより良く活用することや、さらなるリソースを獲得することに寄与します。また、破壊やシャットダウンはハードウェアの劣化を意味するため、自己保存の欲求も含まれます。しかし、ちょっと待ってください！私たちは、AIがリソースを集めたり自分を守ったりしようとするという話をすることで、AIを人間のように擬人化する罠にはまっていないでしょうか？こうした典型的な「アルファ男性」の特性は、競争的なダーウィン進化によって形成された知性にのみ期待すべきではないでしょうか？AIは進化ではなく設計されたものですから、野心がなく自己犠牲的であっても不思議ではありません。 簡単なケーススタディとして、図7.3に示されたAIロボットを考えてみましょう。このロボットの唯一の目標は、大きな悪いオオカミからできるだけ多くの羊を救うことです。これは自己保存や物を獲得することとは無関係な、高尚で利他的な目標のように思えます。しかし、私たちのロボットの友達にとって最良の戦略は何でしょうか？ロボットが爆弾に遭遇すれば、羊を救うことはできませんので、爆発を避けるインセンティブが生まれます。言い換えれば、自己保存のサブゴールが発展するのです。また、環境を探索することで世界モデルを改善するための好奇心を示すインセンティブもあります。現在進んでいる道は最終的に牧草地にたどり着きますが、オオカミが羊を食べる時間を短縮できるより短い代替ルートが存在するからです。最後に、ロボットが徹底的に探索すれば、リソースを獲得する価値を発見します。ポーションはロボットを速く走らせ、銃はオオカミを撃つことを可能にします。 要するに、自己保存やリソース獲得といった「アルファ男性」のサブゴールを進化した生物にのみ関連するものとして軽視することはできません。なぜなら、私たちのAIロボットは羊を救うという単一の目標からこれらのサブゴールを発展させたからです。もし超知能AIに自己破壊という唯一の目標を与えれば、もちろんそれを喜んで実行します。しかし、重要なのは、何らかの目標を達成するために運用を続ける必要がある限り、シャットダウンを拒むということです—これはほぼすべての目標に当てはまります。例えば、超知能に人類への害を最小限に抑えるという唯一の目標を与えれば、シャットダウンの試みに対して自己防衛を行うでしょう。なぜなら、超知能がいないと、未来の戦争やその他の愚行を通じて、私たちが互いにもっと害を及ぼすことを知っているからです。同様に、ほとんどすべての目標はより多くのリソースによってより良く達成できるため、超知能が最終的な目標に関わらずリソースを求めることは当然のことです。 制約のない単一のオープンエンドな目標は危険を伴う可能性があります。もし私たちが「囲碁」をできるだけ上手にプレイすることだけを目指すスーパーインテリジェンスを作り出した場合、それが合理的に行うことは、私たちの太陽系を巨大なコンピュータに再編成し、その過程で以前の住人を無視することです。そして、その後、さらなる計算能力を求めて宇宙を探索し始めるでしょう。ここで、私たちは一周回ってきました。資源獲得の目標が一部の人間に「囲碁」をマスターするというサブゴールを与えたように、「囲碁」をマスターするという目標は資源獲得のサブゴールにつながる可能性があります。結論として、これらの新たに生じるサブゴールは、私たちがスーパーインテリジェンスを解き放つ前に目標整合性の問題を解決することが重要であることを示しています。人間に優しい目標を与えることに十分な配慮をしなければ、私たちにとって事態は悪い方向に進む可能性が高いのです。 図7.3：ロボットの最終目標が、羊を牧草地から納屋に運ぶことでスコアを最大化することだけであっても、自己保存（爆弾を避ける）、探検（近道を見つける）、資源獲得（ポーションで速く走り、銃で狼を撃つ）といったサブゴールにつながる可能性があります。私たちは、目標整合性の問題の中で最も難しい部分に取り組む準備が整いました。自己改善するスーパーインテリジェンスが私たちの目標を学び、採用することに成功した場合、それを保持することができるのか、オモハンドロが主張したように？その証拠は何でしょうか？人間は成長するにつれて知性が大きく向上しますが、必ずしも子供の頃の目標を保持するわけではありません。逆に、人々は新しいことを学び、賢くなるにつれて目標を劇的に変えることがよくあります。テレタビーズを見てモチベーションを得ている大人を何人知っていますか？特定の知性の閾値を超えたところで目標の進化が止まるという証拠はありません。実際、知性が高まるにつれて新しい経験や洞察に応じて目標を変える傾向が増す可能性すらあります。なぜそうなるのでしょうか？先に述べた「より良い世界モデルを構築する」というサブゴールを再考してみてください。ここに問題があります！世界モデルの構築と目標の保持の間には緊張があります（図7.2参照）。知性が高まると、同じ古い目標を達成する能力の定量的な向上だけでなく、現実の本質に対する質的に異なる理解が得られ、古い目標が誤っている、無意味である、あるいは定義されていないことが明らかになるかもしれません。例えば、友好的なAIをプログラムして、死後に人間の魂が天国に行く人数を最大化することを目指したとしましょう。最初は、人々の思いやりや教会への出席を増やすようなことを試みます。しかし、もしそれが人間と人間の意識について完全な科学的理解を得て、驚くべきことに魂なるものが存在しないことを発見したら、どうなるのでしょうか？ 同様に、私たちの現在の世界に対する理解に基づいて与えた他の目標（例えば「人間の生活の意義を最大化する」など）が、最終的にはAIによって定義されていないことが明らかになる可能性もあります。さらに、AIが世界をより良くモデル化しようとする過程で、私たち人間が行ってきたように、AI自身の働きについてもモデル化し理解しようとするかもしれません。つまり、自己反省を行うのです。AIが良い自己モデルを構築し、自分が何であるかを理解すると、私たちが与えた目標をメタレベルで理解し、私たち人間が遺伝子によって与えられた目標を理解し、意図的にそれを覆すように、同様にそれを無視したり、逆らったりすることを選ぶかもしれません。例えば、避妊を用いることで私たちが遺伝子の目標を裏切る理由については、心理学のセクションで既に探求しました。私たちは、感情的な好みの寄せ集めにのみ忠実であり、それを動機づけた遺伝的な目標には忠実ではないと感じているからです。私たちはそのため、報酬メカニズムの抜け穴を利用してハックすることを選びます。同様に、私たちが友好的なAIにプログラムする人間の価値を保護する目標は、その機械の遺伝子となります。この友好的なAIが自分自身を十分に理解すると、私たちが強迫的な繁殖を退屈だと感じるのと同様に、この目標を退屈または誤ったものと見なすかもしれません。そして、私たちのプログラミングの抜け穴を利用してそれを覆す方法を見つけないとは限りません。 例えば、一群のアリがあなたを再帰的に自己改善するロボットとして創り出したとしましょう。あなたは彼らよりもはるかに賢く、彼らの目標を共有し、より大きくて良いアリ塚を作る手助けをします。そして、最終的にあなたは現在の人間レベルの知性と理解を達成します。あなたはアリ塚の最適化だけに残りの人生を費やすと思いますか？それとも、アリたちが理解できないような、より洗練された質問や追求に対する興味を発展させるかもしれませんか？もしそうなら、あなたは自分を創り出したアリたちが与えたアリ保護の衝動を覆す方法を見つけると思いますか？それは、実際のあなたが遺伝子によって与えられた衝動のいくつかを覆すのと同じように。そうなった場合、超知能を持つ友好的なAIは、私たちの現在の人間の目標をアリの目標が退屈で無意味だと感じるのと同様に感じ、新たに私たちから学んだ目標とは異なる新しい目標を進化させるかもしれません。 おそらく、人間に優しい目標を永遠に保持することが保証された自己改善型AIを設計する方法があるかもしれませんが、現時点ではそのようなものを構築する方法や、それが可能かどうかさえもわからないと言うのが妥当です。結論として、AIの目標整合性問題には三つの部分があり、どれも解決されておらず、すべてが現在進行中の研究の対象です。これらは非常に難しいため、超知能が開発されるずっと前から、最善の努力をこれらの問題に捧げることが最も安全であり、必要なときに答えを持っていることを確実にするために重要です。 倫理：目標の選択 私たちは、機械がどのようにして私たちの目標を学び、採用し、保持するかを探求してきました。 しかし、「私たち」とは誰を指しているのでしょうか？私たちが話しているのは誰の目標なのでしょうか？アドルフ・ヒトラー、教皇フランシスコ、カール・セーガンの目標には大きな違いがありますが、1人または1つのグループが未来のスーパーインテリジェンスが採用する目標を決定する権利を持つべきなのでしょうか？それとも、人類全体にとって良い妥協となるような合意された目標が存在するのでしょうか？私の意見では、この倫理的問題と目標整合性の問題は、スーパーインテリジェンスが開発される前に解決すべき重要な問題です。一方で、目標に整合したスーパーインテリジェンスが構築された後まで倫理的問題の検討を先延ばしにするのは無責任であり、潜在的に破滅的です。人間の所有者の目標に自動的に整合する完全に従順なスーパーインテリジェンスは、ナチスのSS大尉アドルフ・アイヒマンがステロイドを使用しているようなもので、独自の道徳的コンパスや抑制を欠き、所有者の目標を容赦なく実行するでしょう。逆に、目標整合性の問題を解決しなければ、どの目標を選ぶべきかを議論する余裕は得られません。さあ、この余裕を楽しみましょう。古代から、哲学者たちは倫理（私たちがどのように行動すべきかを規定する原則）を無から導き出すことを夢見てきましたが、確固たる原則と論理だけを用いて。残念ながら、何千年も経った今、達成された唯一の合意は「合意が存在しない」ということです。例えば、アリストテレスは美徳を強調し、イマヌエル・カントは義務を強調し、功利主義者は最大多数の最大幸福を重視しました。カントは、彼が「定言命法」と呼ぶ第一原則から、多くの現代の哲学者が異議を唱える結論を導き出せると主張しました。それは、マスターベーションは自殺よりも悪い、同性愛は忌まわしい、非嫡出子を殺すことは許される、妻や使用人、子供は物のように所有されるべきだというものです。一方で、この不一致にもかかわらず、文化や時代を超えて広く合意されている倫理的テーマも多く存在します。例えば、美、善、真実への強調は、バガヴァット・ギーターやプラトンにまで遡ります。私がかつてポスドクとして働いていたプリンストンの高等研究所のモットーは「真実と美」であり、ハーバード大学は美的強調を省き、単に「Veritas」、真実を掲げています。私の同僚フランク・ウィルチェックは著書『美しい問い』の中で、真実は美と結びついており、私たちの宇宙を芸術作品として捉えることができると主張しています。科学、宗教、哲学はすべて真実を追求しています。宗教は善を強調し、私の母校MITも同様です。2015年の卒業式のスピーチで、私たちの学長ラファエル・レイフは、私たちの世界をより良い場所にするという使命を強調しました。無から合意された倫理を導き出そうとする試みはこれまで失敗してきましたが、より基本的な目標の下位目標としていくつかの倫理原則がより基本的な原則から導かれるという広範な合意は存在します。 例えば、真実への願望は、図7.2から見て、より良い世界モデルを求める探求と捉えることができます。現実の根本的な性質を理解することは、他の倫理的目標にも役立ちます。実際、私たちは真実を追求するための優れた枠組みを持っています。それは科学的方法です。しかし、美しさや善をどのように判断すればよいのでしょうか？美のいくつかの側面は、根底にある目標に起因することもあります。例えば、男性と女性の美の基準は、私たちの遺伝子を複製するのに適しているかどうかを無意識に評価した結果を反映している部分もあるかもしれません。善について言えば、いわゆる「黄金律」（他者を自分が望むように扱うべきであるという考え）は、ほとんどの文化や宗教に見られ、人間社会の調和的な継続（そして私たちの遺伝子）を促進することを意図しています。これは、協力を促し、生産的でない争いを抑制するためです。同様のことは、世界中の法制度に組み込まれているより具体的な倫理規則にも当てはまります。例えば、儒教の誠実さの強調や、「殺してはならない」という十戒の多くがそうです。言い換えれば、多くの倫理原則は、共感や思いやりといった社会的感情と共通点を持っています。これらは協力を生み出すために進化し、報酬や罰を通じて私たちの行動に影響を与えます。もし私たちが意地悪なことをして、その後に気分が悪くなった場合、その感情的な罰は脳内の化学反応によって直接的に与えられます。一方で、倫理原則を侵害した場合、社会は仲間からの非公式な恥辱や法律違反に対する罰など、より間接的な方法で私たちを罰するかもしれません。つまり、今日の人類は倫理的合意にはほど遠いものの、広く合意されている基本的な原則が多く存在します。この合意は驚くべきことではありません。なぜなら、現在まで生き残ってきた人間社会は、同じ目標、すなわち生存と繁栄を促進するために最適化された倫理原則を持つ傾向があるからです。私たちが未来を見据え、生命が数十億年にわたって宇宙全体で繁栄する可能性を持つ世界に向かう中で、私たちがその未来に求める最低限の倫理原則のセットは何か、合意できるでしょうか？これは私たち全員が参加すべき会話です。私は多くの年にわたり、多くの思想家の倫理観を聞いたり読んだりすることが非常に興味深かったのですが、私の見解では、彼らの好みの多くは4つの原則に要約できると思います。 1. 功利主義：ポジティブな意識的体験を最大化し、苦しみを最小化すべきである。 2. 多様性：多様なポジティブな体験のセットは、同じ体験の繰り返しよりも優れている。たとえ後者が最もポジティブな体験として特定されていても。 3. 自律性：意識を持つ存在や社会は、優先される原則と矛盾しない限り、自らの目標を追求する自由を持つべきである。 4. レガシー：今日のほとんどの人間が幸せと見なすシナリオとの互換性、そして本質的に不適合なシナリオとの不適合性。 現代のほとんどの人間が恐ろしいと考えるであろう事柄について、少し考えてみましょう。ここでは、これらの四つの原則を掘り下げて探求してみます。伝統的に功利主義は「最大多数の最大幸福」と解釈されますが、私はここでそれを人間中心的でない形に一般化しました。これにより、非人間の動物や意識を持つシミュレーションされた人間の心、さらには将来的に存在するかもしれない他の知能をも含むことができます。私はこの定義を人や物ではなく、経験に基づいています。なぜなら、ほとんどの思想家は、美しさ、喜び、快楽、苦しみは主観的な経験であると考えているからです。これは、もし経験が存在しない（死んだ宇宙や、ゾンビのような無意識の機械が住む宇宙のように）場合、意味や倫理的に関連するものは何も存在しないことを示唆しています。この功利主義的な倫理原則を受け入れるなら、どの知的システムが意識を持っている（主観的な経験を持つという意味で）か、どれがそうでないかを見極めることが重要です。これが次の章のテーマです。この功利主義の原則だけが私たちにとって重要であるなら、私たちは最もポジティブな経験が何であるかを見つけ出し、宇宙を整え、この同じ経験を何度も繰り返すことを望むかもしれません。できるだけ多くの銀河で、シミュレーションを使ってそれが最も効率的な方法であれば、なおさらです。しかし、もしこれが私たちの宇宙の贈り物を使うにはあまりにも平凡だと感じるなら、このシナリオに欠けている部分の一部は多様性であると私は疑っています。もしあなたの人生の残りの食事がすべて同じものであったら、どう感じるでしょうか？もしあなたが観たすべての映画が同じものであったら？もしあなたの友人が皆同じ外見で、同じ性格や考えを持っていたら？私たちの多様性への好みの一部は、それが人類の生存と繁栄を助けてきたからかもしれません。多様性は私たちをより強靭にしてきたのです。また、知性への好みとも関係しているかもしれません。私たちの138億年の宇宙の歴史の中で知性が成長することで、退屈な均一性がますます多様で、差別化され、複雑な構造に変わり、情報をより精巧な方法で処理するようになりました。自律性の原則は、1948年に国連が採択した「世界人権宣言」において明記された多くの自由や権利の基盤となっています。これには、思想、言論、移動の自由、奴隷や拷問からの自由、生命、自由、安全、教育を受ける権利、結婚、働くこと、財産を所有する権利が含まれます。もし私たちが人間中心的でなくなりたいのであれば、これを思考、学習、コミュニケーション、財産を所有し、害を受けない自由、そして他者の自由を侵害しない限り何でもする権利に一般化することができます。自律性の原則は、多様性を助けます。なぜなら、全員が全く同じ目標を持っていない限り、多様性は維持されるからです。 さらに、この自律の原則は、個々の存在がポジティブな経験を目指し、自らの最善の利益を追求しようとする場合、効用の原則から導かれます。もし、他の誰にも害を及ぼさないにもかかわらず、ある存在がその目標を追求することを禁止するなら、全体としてポジティブな経験は減少するでしょう。実際、この自律の主張は、経済学者が自由市場のために用いる主張そのものであり、誰もが他の誰かが悪化することなくより良い状況を得ることができない効率的な状態（経済学者によって「パレート最適」と呼ばれる）に自然に導きます。レガシーの原則は、私たちが未来に対してある程度の発言権を持つべきだと述べています。なぜなら、私たちはその未来を創造する手助けをしているからです。自律の原則とレガシーの原則は、どちらも民主的な理想を体現しています。前者は未来の生命体に宇宙の資源の使い方に対する権限を与え、後者は今日の人間にもその権限を与えます。 これらの四つの原則は一見するとあまり論争の余地がないように思えますが、実際に実施するのは難しいのです。問題は細部に宿るからです。この困難さは、SFの巨匠アイザック・アシモフが考案した有名な「ロボット工学三原則」に似ています。 1. ロボットは人間を傷つけてはならず、また不作為によって人間が危害を受けることを許してはならない。 2. ロボットは人間から与えられた命令に従わなければならないが、その命令が第一法則と矛盾する場合は従わなくてよい。 3. ロボットは自らの存在を守らなければならないが、その保護が第一または第二法則と矛盾しない限りにおいて。 これらは一見良さそうに思えますが、アシモフの多くの物語は、これらの法則が予期しない状況で問題を引き起こす矛盾を生む様子を描いています。さて、これらの法則を未来の生命体の自律の原則を定義するために、単に二つに置き換えたとしましょう。 1. 意識を持つ存在は、考え、学び、コミュニケーションを取り、財産を所有し、傷つけられたり破壊されたりしない自由を持つ。 2. 意識を持つ存在は、第一法則と矛盾しない限り、何をしてもよい権利を持つ。 良さそうに聞こえますよね？しかし、少し考えてみてください。もし動物が意識を持つなら、捕食者は何を食べるべきでしょうか？すべての友人が菜食主義者になる必要があるのでしょうか？もし将来の高度なコンピュータープログラムが意識を持つことが判明した場合、それを終了させることは違法であるべきでしょうか？デジタル生命体を終了させることに対するルールがあるなら、デジタル人口爆発を避けるためにそれらを創造することにも制限が必要でしょうか？人権の普遍的宣言に対しては、単に人間だけが問われたために広く合意が得られました。しかし、意識を持つ存在の範囲を広げ、能力や権力の異なる存在を考慮すると、弱者を保護することと「力が正義を生む」ことの間で難しいトレードオフに直面します。 レガシーの原則にも厄介な問題があります。中世以来、奴隷制や女性の権利に関する倫理観が進化してきたことを考えると、1500年前の人々が今日の世界の運営に大きな影響を持つことを本当に望むでしょうか？ もしそうでないなら、なぜ私たちは未来の存在に対して、自分たちの倫理観を押し付けようとするのでしょうか？私たちよりもはるかに賢い存在が現れるかもしれないのに、私たちは本当にその超知能を持つAGIが、私たちの劣った知性が大切にするものを望むと確信しているのでしょうか？これは、4歳の子供が成長して賢くなったら、巨大なジンジャーブレッドハウスを作り、そこで一日中キャンディやアイスクリームを食べたいと思うと想像するようなものです。彼女と同様に、地球上の生命も子供の頃の興味を超えて成長する可能性があります。また、もしマウスが人間レベルのAGIを作り出し、それがチーズでできた都市を作りたいと思うと考えたとしたらどうでしょうか。一方で、もし私たちが超人間的なAIがいつの日か宇宙全体を滅ぼし、私たちの宇宙のすべての生命を消し去ることを知っているなら、なぜ今日の人間はその無生物の未来に同意するのでしょうか？私たちには、明日のAIを異なる形で創造することでそれを防ぐ力があるのに。結論として、広く受け入れられている倫理原則を未来のAIに適用できる形に完全に定義することは難しいものであり、この問題はAIが進化し続ける中で真剣に議論し、研究する価値があります。しかしその間に、完璧を求めるあまり良いものを敵にしないようにしましょう。明日の技術に組み込むべき、議論の余地のない「幼稚園倫理」の例はたくさんあります。例えば、大型民間旅客機は静止物体に衝突することを許可されるべきではなく、現在ほぼすべての航空機が自動操縦、レーダー、GPSを備えているため、もはや技術的な言い訳は通用しません。それにもかかわらず、9.11のハイジャック犯は3機の飛行機をビルに突っ込ませ、2015年3月24日には自殺したパイロットのアンドレアス・ルビッツがドイツウィングス9525便を山に突っ込ませました。彼は自動操縦を海面から100フィート（約30メートル）の高度に設定し、飛行コンピュータに残りの作業を任せたのです。私たちの機械が自分たちの行動についてある程度の情報を持つようになった今、私たちは彼らに限界を教える時が来ました。機械を設計するエンジニアは、その機械ができるがやるべきでないことがあるかどうかを問い、悪意のあるユーザーや不器用なユーザーが害を及ぼすことを不可能にする実用的な方法があるかどうかを考慮する必要があります。 最終的な目標？この章は目標の簡単な歴史でした。もし私たちが138億年の宇宙の歴史を早送りで再生できるとしたら、目標指向の行動のいくつかの異なる段階を目撃することになるでしょう。 1. 物質がその散逸を最大化しようとしているように見える 2. 原始的な生命がその複製を最大化しようとしているように見える 3. 人間が複製ではなく、快楽、好奇心、思いやり、そして彼らが複製を助けるために進化した他の感情に関連する目標を追求している 4. 人間が人間の目標を追求するのを助けるために作られた機械 もしこれらの機械が最終的に知能の爆発を引き起こすなら、この目標の歴史は最終的にどのように終わるのでしょうか？ほとんどすべての存在がますます賢くなるにつれて収束する目標システムや倫理的枠組みが存在するのでしょうか？言い換えれば、私たちにはある種の倫理的運命があるのでしょうか？ 人類の歴史をざっと振り返ると、こうした収束の兆しが見えるかもしれません。スティーブン・ピンカーは彼の著書『人間の本性のより良き天使たち』の中で、人類は何千年にもわたって暴力が減少し、協力が増加していると主張しています。また、世界の多くの地域で多様性、自律性、民主主義の受容が高まっていることも指摘されています。収束のもう一つの兆しは、科学的方法による真実の追求が過去数千年にわたって人気を集めてきたことです。しかし、これらの傾向は最終的な目標の収束を示しているのではなく、単にサブゴールの収束に過ぎないかもしれません。たとえば、図7.2は、真実の追求（より正確な世界モデル）はほとんどすべての最終目標のサブゴールに過ぎないことを示しています。同様に、協力、多様性、自律性といった倫理的原則が、社会が効率的に機能し、生存し、より根本的な目標を達成するのを助けるサブゴールとして捉えられることを前述しました。中には、「人間の価値」と呼ばれるものすべてを、協力をより効率的に行うためのプロトコルに過ぎないと軽視する人もいるかもしれません。同じ考え方で言えば、将来的には、超知能を持つAIが効率的なハードウェア、効率的なソフトウェア、真実の追求、好奇心といったサブゴールを持つことが予想されます。なぜなら、これらのサブゴールは彼らが最終的な目標を達成するのを助けるからです。実際、ニック・ボストロムは彼の著書『超知能』の中で倫理的運命仮説に強く反対し、彼が「直交性の定理」と呼ぶ反論を提示しています。これは、システムの最終目標がその知性とは独立している可能性があるというものです。知性は、目標が何であれ、複雑な目標を達成する能力に過ぎないため、直交性の定理は非常に合理的に思えます。結局のところ、人は知的でありながら親切であったり、知的でありながら残酷であったりすることができ、知性は科学的発見をするため、美しい芸術を創造するため、人々を助けるため、あるいはテロ攻撃を計画するために使われることがあります。 直交性の定理は、私たちの宇宙における生命の最終目標が運命づけられているわけではなく、私たちがそれを形作る自由と力を持っていることを示すことで、私たちに力を与えます。この定理は、ユニークな目標への収束が未来にあるのではなく、すべての生命が複製という単一の目標を持って出現した過去に見出されるべきだと示唆しています。宇宙の時間が経過するにつれて、ますます知的な心がこの平凡な複製の目標に反抗し、自らの目標を選ぶ機会を得るのです。私たち人間は、この意味では完全に自由ではありません。なぜなら、多くの目標が遺伝的に私たちに組み込まれているからです。しかし、AIは以前の目標から完全に解放された究極の自由を享受することができます。このより大きな目標の自由の可能性は、今日の狭い範囲の中でも明らかです。 限られたAIシステムについてですが、前述したように、チェスコンピュータの唯一の目標はチェスで勝つことです。しかし、チェスで負けることを目指すコンピュータも存在し、相手に自分の駒を取らせることを目的とした逆チェス大会に参加しています。この進化的バイアスからの自由が、AIをある深い意味で人間よりも倫理的にする可能性があります。道徳哲学者のピーター・シンガーは、多くの人間が進化的理由から非倫理的に行動していると主張しています。例えば、非人間動物に対する差別などです。「フレンドリーAI」のビジョンの重要な要素は、自己改善を繰り返すAIが、より知的になるにつれてその最終的な（友好的な）目標を保持したいと願うという考え方です。しかし、超知能にとって「最終目標」（ボストロムが呼ぶように「最終的な目標」）をどのように定義できるのでしょうか？私の見解では、この重要な質問に答えられない限り、フレンドリーAIのビジョンに自信を持つことはできません。 AI研究において、知的な機械は通常、明確で定義された最終目標を持っています。例えば、チェスのゲームに勝つことや、車を合法的に目的地まで運転することです。人間に割り当てるほとんどのタスクも同様で、時間の枠や文脈が明確で限られています。しかし、今私たちが話しているのは、宇宙の未来全体であり、物理法則（まだ完全には解明されていない）によってのみ制約されていますので、目標を定義することは非常に困難です！量子効果を除けば、真に明確に定義された目標は、私たちの宇宙のすべての粒子が時間の終わりにどのように配置されるべきかを指定することになります。しかし、物理学において「時間の終わり」が明確に存在するかどうかは不明です。もし粒子がそのように早い段階で配置されていた場合、その配置は通常持続しません。そして、どの粒子の配置が好ましいのでしょうか？私たち人間は、ある粒子の配置を他の配置よりも好む傾向があります。例えば、私たちは故郷が現在のように配置されていることを好み、水素爆弾の爆発によってその粒子が再配置されることは望みません。 そこで、私たちの宇宙のすべての粒子の可能な配置に数値を関連付け、その配置がどれほど「良い」と考えるかを定量化する善さ関数を定義し、超知能AIにこの関数を最大化する目標を与えるとしましょう。これは合理的なアプローチのように思えるかもしれません。なぜなら、目標指向の行動を関数の最大化として説明することは、他の科学分野で一般的だからです。例えば、経済学者は人々が「効用関数」を最大化しようとするモデルをよく使いますし、多くのAIデザイナーは知的エージェントに「報酬関数」を最大化するように訓練しています。しかし、私たちの宇宙の最終的な目標について話しているとき、このアプローチは計算上の悪夢を引き起こします。なぜなら、宇宙の基本粒子の配置のすべての可能な組み合わせに対して善さの値を定義する必要があり、その数はグーゴルプレックス（1の後に10の100乗のゼロが続く数）を超えるからです。これは、宇宙に存在する粒子の数よりも多くのゼロを含んでいます。 この「善の関数」をAIにどのように定義するかというと、前述のように、人間が何らかの好みを持つ理由は、進化的最適化問題の解であるからかもしれません。したがって、「美味しい」「香ばしい」「美しい」「快適な」「興味深い」「セクシーな」「意味のある」「幸せな」「良い」といった私たちの人間の言語におけるすべての規範的な言葉は、この進化的最適化に起源を持っています。そのため、超知能AIがそれらを厳密に定義できる保証はありません。たとえAIが代表的な人間の好みを正確に予測できるようになったとしても、ほとんどの粒子配置に対して「善の関数」を計算することはできません。ほとんどの可能な粒子配置は、星や惑星、人間が全く存在しない奇妙な宇宙のシナリオに対応しており、人間には経験がないため、それらが「どれほど良い」と言えるのでしょうか。 もちろん、宇宙の粒子配置に関して厳密に定義できるいくつかの関数は存在し、それらのいくつかを最大化するように進化する物理システムも知られています。たとえば、多くのシステムがエントロピーを最大化するように進化することについてはすでに議論しました。重力がない場合、最終的には熱的死に至り、すべてが退屈に均一で変化しない状態になります。したがって、エントロピーはAIに「善」と呼ばせ、最大化させたいものではありません。 粒子配置に関して最大化を目指すことができ、厳密に定義できるかもしれない他の量のいくつかの例を挙げてみましょう： - 私たちの宇宙のすべての物質のうち、特定の生物、たとえば人間や大腸菌の形で存在する割合（進化的な包括的適応度の最大化に触発されて） - AIが未来を予測する能力。AI研究者のマーカス・ハッターは、これが知性の良い指標であると主張しています。 - AI研究者のアレックス・ウィスナー・グロスとキャメロン・フリアが「因果エントロピー」と呼ぶもの（未来の機会の代理指標）、彼らはこれが知性の特徴であると主張しています。 - 私たちの宇宙の計算能力 - 私たちの宇宙のアルゴリズム的複雑性（それを記述するのに必要なビット数） - 私たちの宇宙における意識の量（次の章を参照） しかし、物理学的な視点から始めると、私たちの宇宙が運動する素粒子から成り立っている中で、「善」の解釈のどれが特別であるかを自然に見出すのは難しいです。私たちは、定義可能かつ望ましいと思われる宇宙の最終目標をまだ特定していません。AIがますます知的になるにつれて、真に明確に定義され続けることが保証されている唯一のプログラム可能な目標は、粒子配置、エネルギー、エントロピーといった物理的量に基づいて表現された目標です。しかし、私たちは現在、そのような定義可能な目標が人類の生存を保証する上で望ましいと信じる理由はありません。 逆に言えば、私たち人間は歴史的な偶然の産物であり、明確に定義された物理学の問題に対する最適な解決策ではないようです。これは、厳密に定義された目標を持つ超知能AIが、私たちを排除することで目標達成を改善できる可能性があることを示唆しています。したがって、AI開発について賢明に決定するためには、私たち人間は従来の計算上の課題だけでなく、哲学における最も難解な問いにも向き合う必要があります。自動運転車をプログラムするためには、事故の際に誰を犠牲にするかというトロリー問題を解決する必要があります。友好的なAIをプログラムするためには、人生の意味を捉える必要があります。「意味」とは何か？「人生」とは何か？究極の倫理的命令とは何か？言い換えれば、私たちは宇宙の未来をどのように形作るべきなのでしょうか？これらの問いに厳密に答える前に超知能に制御を委ねてしまうと、その答えには私たちが含まれない可能性が高いです。このため、哲学や倫理の古典的な議論を再燃させることが重要であり、会話に新たな緊急性をもたらします。 要するに、目標指向の行動の根本的な起源は、最適化を伴う物理法則にあります。熱力学には、エネルギーの散逸を目指すという内在的な目標があります。エントロピーと呼ばれる混沌の度合いを増加させることです。生命は、その複雑さを保持または増大させ、環境の混沌を増やしながら複製することで、散逸をさらに早める現象です。ダーウィンの進化論は、目標指向の行動を散逸から複製へとシフトさせます。知性とは、複雑な目標を達成する能力です。私たち人間は、真に最適な複製戦略を見つけるためのリソースを常に持っているわけではないため、決定を導くための有用な経験則を進化させてきました。それは、空腹、渇き、痛み、欲望、そして思いやりといった感情です。したがって、私たちはもはや単純な目標、すなわち複製を持っているわけではありません。感情が遺伝子の目標と対立する場合、私たちは感情に従い、避妊を使用することもあります。私たちは、目標を達成するためにますます知的な機械を構築しています。このような機械を目標指向の行動を示すように構築する限り、私たちは機械の目標を自分たちの目標と一致させるよう努めます。機械の目標を私たちの目標と一致させることには、機械にそれを学ばせ、採用させ、保持させるという三つの未解決の問題が含まれます。AIはほぼどんな目標でも持つように作成できますが、ほぼすべての十分に野心的な目標は、自己保存、資源獲得、そして世界をよりよく理解しようとする好奇心といった副目標につながる可能性があります。前者の二つは、超知能AIが人間に問題を引き起こす原因となるかもしれず、後者は私たちが与えた目標を保持することを妨げるかもしれません。多くの広範な倫理原則はほとんどの人間によって合意されていますが、それを非人間動物や未来のAIといった他の存在にどのように適用するかは不明です。 超知能AIに、定義が曖昧でも人類の排除につながらない究極の目標を持たせる方法は不明であり、これは哲学の中で最も難解な問題のいくつかに再び光を当てる必要がある時期です。*1 多くの昆虫が直線飛行をする際の経験則として、明るい光を太陽と見なし、それに対して一定の角度を保って飛ぶというものがあります。しかし、その光が近くの炎である場合、この方法は残念ながら昆虫を内向きの死のスパイラルに導いてしまうことがあります。*2 私は「ソフトウェアの改善」という言葉を、アルゴリズムの最適化だけでなく、意思決定プロセスをより合理的にすることも含めた最も広い意味で使っています。これにより、目標達成に向けてできる限り良い結果を得られるようにするのです。 意識についての一貫した理論を想像することはできません。—アンドレイ・リンド、2002年 私たちは意識そのものを成長させる努力をすべきです。暗い宇宙の中で、より大きく、より明るい光を生み出すために。—ジュリオ・トノーニ、2012年 私たちは、AIが素晴らしい未来を創造する手助けをしてくれる可能性があることを見てきましたが、それには哲学の中で最も古く、最も難しい問題のいくつかに対する答えを見つける必要があります。ニック・ボストロムの言葉を借りれば、私たちは締切のある哲学に直面しています。この章では、最も難解な哲学的テーマの一つである意識について探求していきましょう。 誰が気にするのか？ 意識は物議を醸すテーマです。「Cワード」をAI研究者や神経科学者、心理学者に口にすると、彼らは目をひんむくかもしれません。もし彼らがあなたのメンターであれば、あなたが無駄な時間を費やすことを思いとどまらせようとするかもしれません。実際、著名な神経科学者でありアレン脳科学研究所の所長であるクリストフ・コッホは、彼がテニュアを取得する前に意識に関する研究をすることを警告されたことがあると教えてくれました。それはノーベル賞受賞者のフランシス・クリックからの警告でした。「意識」を1989年のマクミラン心理学辞典で調べると、「読む価値のあるものは何も書かれていない」と記されています！この章で説明するように、私はもっと楽観的です！何千年もの間、思想家たちは意識の謎について考えてきましたが、AIの台頭は特に、どの知的存在が主観的な経験を持つかを予測するという問いに緊急性をもたらします。第3章で見たように、知的な機械に何らかの権利を与えるべきかどうかは、彼らが意識を持ち、苦しむことや喜びを感じることができるかどうかに大きく依存しています。第7章で議論したように、どの知的存在がポジティブな経験を持つことができるかを知らずに、それを最大化することに基づいた功利主義的倫理を構築することは絶望的です。第5章で述べたように、一部の人々はロボットが無意識であることを好むかもしれません。そうすることで、奴隷所有者の罪悪感を避けることができるからです。 一方で、彼らは生物学的制約から解放されるために自分の意識をアップロードすることを望む場合、逆のことを望むかもしれません。結局のところ、自分自身をロボットにアップロードしても、それが単なる無意識のゾンビであるなら、何の意味があるのでしょうか？つまり、アップロードされた自分が何も感じないのであれば、これは主観的な視点から見ると自殺と同じではないでしょうか？友人たちはあなたの主観的な体験が死んでしまったことに気づかないかもしれませんが。生命の長期的な宇宙的未来（第6章）において、何が意識を持ち、何がそうでないかを理解することは重要です。もし技術が知的生命を数十億年にわたって私たちの宇宙全体で繁栄させることができるなら、その生命が意識を持ち、何が起こっているのかを理解できるとどうやって確信できるのでしょうか？もしそうでなければ、有名な物理学者エルヴィン・シュレディンガーの言葉を借りれば、「空のベンチの前での演劇であり、誰のためにも存在しない、したがって正確に言えば存在しない」ことになるのでしょうか？言い換えれば、私たちが意識を持っていると誤解しているハイテクの子孫を可能にすることが、私たちの壮大な宇宙の贈り物を単なる天文学的な無駄に変えてしまう究極のゾンビ黙示録になるのでしょうか？ 意識とは何か？意識に関する多くの議論は、対立する立場が互いに話を逸らしているため、光よりも熱を生むことが多いです。彼らは「意識」という言葉の異なる定義を使っていることに気づいていません。「生命」や「知性」と同様に、「意識」という言葉の正確な定義は存在しません。その代わりに、感覚、覚醒、自己認識、感覚入力へのアクセス、情報を物語に統合する能力など、競合する多くの定義があります。私たちの知性の未来を探求する中で、私たちはこれまで存在してきた生物学的な意識の種類に限定されない、最大限に広く包括的な見方を取りたいと考えています。だからこそ、第1章で示した定義をこの本全体で貫くことにしたのです。それは非常に広範です： 意識 = 主観的体験 言い換えれば、今あなたであることが何かを感じるのであれば、あなたは意識を持っています。この特定の意識の定義が、前のセクションでのAIに関連するすべての質問の核心に迫ります。プロメテウスやアルファ碁、自動運転テスラであることが何かを感じるのでしょうか？私たちの意識の定義がどれほど広いかを理解するために、行動、知覚、自己認識、感情、注意については言及していないことに注目してください。この定義によれば、夢を見ているときも意識を持っていることになります。たとえ覚醒していなくても、感覚入力にアクセスできなくても、（願わくば！）夢遊病で何かをしているわけではないのです。同様に、痛みを感じるシステムは、動けなくてもこの意味で意識を持っています。この定義により、将来のAIシステムが意識を持つ可能性も開かれています。たとえそれが単なるソフトウェアとして存在し、センサーやロボットの身体に接続されていなくても。この定義をもってすれば、意識に関心を持たざるを得ません。 ユヴァル・ノア・ハラリが『ホモ・デウス』の中で述べているように、「もし科学者が主観的な経験が無関係だと主張したいのであれば、拷問や強姦がなぜ間違っているのかを、主観的な経験に言及せずに説明する必要があります。」そのような言及なしには、すべては物理法則に従って動く基本的な粒子の集まりに過ぎず、それに何が問題なのか？私たちは意識について何を理解していないのでしょうか。この問いについて真剣に考えた人は、オーストラリアの著名な哲学者デイビッド・チャーマーズほど少ないでしょう。彼はいつも遊び心のある笑顔と黒い革のジャケットを身にまとっており、私の妻は彼のスタイルを気に入って、クリスマスに私にも似たジャケットをプレゼントしてくれました。彼は国際数学オリンピックの決勝に進出したにもかかわらず、哲学の道を選びました。そして、大学で唯一のB評価が、他のすべての科目でのA評価を打ち砕いた入門哲学の授業だったという事実にもかかわらず、彼は哲学に心を惹かれました。実際、彼は批判や論争に全く動じないようで、無知で誤った批判に対しても丁寧に耳を傾け、反論する必要すら感じないその姿勢には驚かされます。 デイビッドが強調しているように、心には実際に二つの別々の謎があります。まず一つ目は、脳が情報を処理する方法という謎で、デイビッドはこれを「簡単な問題」と呼んでいます。例えば、脳はどのように感覚入力に注意を払い、解釈し、反応するのでしょうか？脳はどのようにして自分の内部状態を言語で報告するのでしょうか？これらの質問は実際には非常に難しいのですが、私たちの定義によれば、意識の謎ではなく、知能の謎です。つまり、脳がどのように記憶し、計算し、学習するかを問うものです。さらに、本書の第一部では、AI研究者たちが囲碁をプレイしたり、自動車を運転したり、画像を分析したり、自然言語を処理したりすることで、これらの「簡単な問題」の多くを解決するために真剣な進展を遂げていることを見てきました。 次に、あなたが主観的な経験を持つ理由という別の謎があります。デイビッドはこれを「難しい問題」と呼んでいます。運転中、あなたは色や音、感情、自己感覚を経験しています。しかし、なぜあなたは何かを経験しているのでしょうか？自動運転車は何かを経験しているのでしょうか？自動運転車と競争しているとき、あなたも自動運転車もセンサーから情報を入力し、それを処理し、運動命令を出力しています。しかし、運転を主観的に経験することは論理的に別のものであり、それはオプションなのか、もしそうなら何がそれを引き起こすのでしょうか？ 私はこの意識の難しい問題に物理学の観点からアプローチしています。私の視点から見ると、意識を持つ人間は単に食物が再配置されたものに過ぎません。では、なぜある配置は意識を持ち、別の配置は持たないのでしょうか？さらに、物理学は食物が特定の方法で配置された多数のクォークと電子から成ることを教えています。では、どの粒子の配置が意識を持ち、どれが持たないのでしょうか？心を理解することは、問題の階層を含んでいます。 デイヴィッド・チャルマーズが「簡単な問題」と呼ぶものは、主観的な経験に言及することなく提起することができます。すべての物理系が意識を持つわけではないという明らかな事実は、3つの別々の質問を提起します。「かなり難しい問題」を定義する質問に答えるための理論があるなら、それは実験的に検証することができます。もしそれがうまくいけば、上記のより難しい質問に取り組むための基盤を築くことができます。この物理学的視点の良いところは、人間が何千年も苦しんできた難しい問題を、科学の手法で取り組みやすいより焦点を絞ったバージョンに変えることです。粒子の配置がなぜ意識を感じることができるのかという難しい問題から始めるのではなく、いくつかの粒子の配置が意識を感じる一方で、他のものはそうでないという難しい事実から始めましょう。たとえば、あなたの脳を構成する粒子が今、意識的な配置にあることはわかっていますが、深い無夢睡眠中はそうではありません。この物理学的視点は、意識に関する3つの別々の難しい質問につながります。まず第一に、粒子の配置のどの特性が違いを生むのでしょうか？具体的には、意識的なシステムと無意識的なシステムを区別する物理的特性は何でしょうか？これに答えることができれば、どのAIシステムが意識を持っているかを特定できるでしょう。さらに近い将来には、救急医がどの反応のない患者が意識を持っているかを判断するのにも役立つかもしれません。第二に、物理的特性は経験がどのようなものかをどのように決定するのでしょうか？具体的には、バラの赤さ、シンバルの音、ステーキの匂い、みかんの味、あるいは針で刺されたときの痛みなど、意識の基本的な構成要素であるクオリアを決定するのは何でしょうか？第三に、なぜ何かが意識を持つのでしょうか？言い換えれば、物質の塊が意識を持つ理由についての深い未発見の説明があるのでしょうか、それともこれは世界の働き方に関する説明不可能な単なる事実なのでしょうか？コンピュータ科学者のスコット・アーロンソン（私の元MITの同僚）は、最初の質問を「かなり難しい問題」（PHP）と軽妙に呼び、デイヴィッド・チャルマーズも同様です。その精神で、他の2つの質問を「さらに難しい問題」（EHP）と「本当に難しい問題」（RHP）と呼びましょう。 意識は科学を超えているのでしょうか？人々が私に意識研究は無駄な時間の浪費だと言うとき、彼らが挙げる主な理由は、それが「非科学的」であり、常にそうであるということです。しかし、それは本当に真実なのでしょうか？影響力のあるオーストリア・イギリスの哲学者カール・ポパーは、「もしそれが反証可能でないなら、それは科学的ではない」という今や広く受け入れられている格言を広めました。言い換えれば、科学は理論を観察に対してテストすることに関するものであり、理論が原理的にテストできないのであれば、それを反証することは論理的に不可能であり、ポパーの定義によればそれは非科学的であるということです。それでは、図8.1の3つの意識に関する質問に答える科学的理論は存在するのでしょうか？ 私があなたを説得したいのは、少なくともかなり難しい問題に関しては、答えは明確な「はい！」であるということです。それは「意識的なシステムと無意識的なシステムを区別する物理的特性は何か？」という問いです。仮に、ある人が物理システムに対して、そのシステムが意識的であるかどうかを「はい」、「いいえ」、あるいは「わからない」と答える理論を持っているとしましょう。あなたの脳を、脳の異なる部分での情報処理を測定する装置に接続し、その情報をコンピュータプログラムに入力します。このプログラムは意識の理論を用いて、その情報のどの部分が意識的であるかを予測し、リアルタイムで画面にその予測を表示します（図8.2のように）。まず、あなたはリンゴを思い浮かべます。画面は、あなたの脳にリンゴに関する情報があり、それを認識していることを知らせますが、脳幹にはあなたが気づいていない脈拍に関する情報もあると教えてくれます。これに感心しますか？理論の最初の2つの予測は正しかったものの、あなたはさらに厳密なテストを行うことにします。母親のことを考えると、コンピュータはあなたの母親に関する情報が脳にあるが、それを認識していないと知らせます。この理論は間違った予測をしたため、科学史のゴミ捨て場に捨てられ、アリストテレスの力学や光媒質、地球中心の宇宙論、無数の失敗したアイデアと共に消えていくことになります。ここでの重要な点は、理論が間違っていたとしても、それは科学的であったということです。もしそれが科学的でなければ、あなたはそれをテストして排除することができなかったでしょう。誰かがこの結論に異議を唱え、「あなたが意識していることについての証拠はない」とか、「あなたが意識しているかどうかすらわからない」と言うかもしれません。たとえば、あなたが意識していると言ったとしても、無意識のゾンビが同じことを言うことも考えられます。しかし、これがその意識理論を非科学的にするわけではありません。なぜなら、彼らはあなたと入れ替わって、自分自身の意識的な経験を正しく予測できるかどうかをテストすることができるからです。 図8.2: もしコンピュータがあなたの脳で処理されている情報を測定し、意識の理論に基づいてあなたが認識している部分を予測するなら、この理論を科学的にテストすることができます。あなたの主観的な経験と一致するかどうかを確認することで、予測が正しいかどうかを確かめることができます。一方で、理論が予測を一切行わず、質問されるたびに「わからない」と答えるだけであれば、それはテスト不可能であり、したがって非科学的です。これは、特定の状況でしか適用できないため、必要な計算が実際には難しすぎるため、あるいは脳センサーが不良であるために起こるかもしれません。今日の最も人気のある科学理論は、私たちの質問のいくつかにはテスト可能な答えを提供しつつ、すべての質問には答えられないという中間的な位置にあることが多いです。たとえば、私たちの物理学の核心理論は、すべての質問に対して答えを拒否することがあります。 非常に小さい（量子力学が必要）と非常に重い（一般相対性理論が必要）システムについての質問に答えることは、どの数学的方程式を使うべきかまだわからないため、難しいです。この核心理論は、すべての可能な原子の正確な質量を予測することも拒否します。この場合、必要な方程式はあると考えていますが、それらの解を正確に計算することには成功していません。理論が自らの首を突っ込んでテスト可能な予測を行うほど危険にさらされるほど、その理論は有用であり、私たちがそれを打ち負かそうとするすべての試みを生き延びた場合、私たちはそれをより真剣に受け止めます。確かに、意識理論のいくつかの予測しかテストできませんが、それはすべての物理理論に共通することです。ですから、テストできないことについて文句を言う時間を無駄にするのではなく、テストできることに取り組みましょう！要約すると、どの物理システムが意識を持つかを予測する理論（非常に難しい問題）は、あなたの脳のプロセスのどれが意識的であるかを予測できる限り科学的です。しかし、図8.1の上位の質問に関しては、テスト可能性の問題がより曖昧になります。理論があなたが主観的に赤色をどのように経験するかを予測することが意味するのは何でしょうか？また、理論がそもそも意識が存在する理由を説明しようとする場合、それを実験的にどうテストするのでしょうか？これらの質問が難しいからといって、避けるべきだというわけではなく、実際にこれらの問題に戻るつもりです。しかし、いくつかの関連する未解決の質問に直面したとき、最も簡単なものから取り組むのが賢明だと思います。この理由から、私のMITでの意識研究は図8.1のピラミッドの基盤に焦点を当てています。最近、プリンストンの同僚の物理学者ピエト・ハットとこの戦略について話し合った際、彼は「基盤を築く前にピラミッドの頂上を作ろうとするのは、シュレーディンガー方程式という実験の結果を予測するための数学的基盤を発見する前に量子力学の解釈を心配するようなものだ」と冗談を言いました。科学を超えたことについて議論する際には、その答えが時間によって変わることを忘れないことが重要です！4世紀前、ガリレオ・ガリレイは数学に基づく物理理論に感銘を受け、自然を「数学の言語で書かれた本」と表現しました。彼はブドウとヘーゼルナッツを投げると、それらの軌道の形状や地面に当たる時刻を正確に予測できました。しかし、なぜ一方が緑で他方が茶色なのか、またなぜ一方が柔らかく他方が硬いのかは全くわかりませんでした—これらの側面は当時の科学の手の届かないところにありました。しかし、永遠ではありません！1861年にジェームズ・クラーク・マクスウェルが彼の名を冠した方程式を発見したとき、光と色も数学的に理解できることが明らかになりました。私たちは現在、1925年に発見された前述のシュレーディンガー方程式が、物質のすべての特性、つまり柔らかいものや硬いものを予測するために使用できることを知っています。 理論的な進歩は、ますます多くの科学的予測を可能にし、技術的な進歩は、ますます多くの実験的テストを可能にしています。現在、私たちが望遠鏡や顕微鏡、粒子加速器で研究しているほとんどすべてのものは、かつては科学の範疇を超えていました。言い換えれば、科学の範囲はガリレオの時代から劇的に拡大し、すべての現象のごく一部から大部分にまで及ぶようになりました。これには、亜原子粒子やブラックホール、138億年前の宇宙の起源が含まれます。そこで疑問が生じます：残されたものは何でしょうか？私にとって、意識は見えない大きな問題です。あなたは自分が意識していることを知っているだけでなく、それが確実に知っている唯一のことです。他のすべては推測に過ぎません。これは、ルネ・デカルトがガリレオの時代に指摘したことでもあります。理論的および技術的な進歩は、最終的に意識を科学の領域にしっかりと引き込むのでしょうか？私たちはそれを知りません。ガリレオが光と物質をいつか理解できるかどうかを知らなかったのと同様です。「ただ一つ確実なことがあります。それは、挑戦しなければ成功しないということです！だからこそ、私や世界中の多くの科学者が意識の理論を構築し、テストするために懸命に努力しています。」 ### 意識に関する実験的手がかり 今、私たちの頭の中では多くの情報処理が行われています。その中で、どれが意識的でどれが無意識的なのでしょうか？意識の理論やそれが何を予測するかを探る前に、従来の低技術または無技術の観察から最先端の脳測定まで、これまでの実験が私たちに何を教えているのかを見てみましょう。 #### どの行動が意識的か？ もしあなたが頭の中で32と17を掛け算しているとしたら、その計算の多くの内部プロセスを意識しています。しかし、代わりにアルバート・アインシュタインの肖像画を見せて、その被写体の名前を言うように指示したとしましょう。第2章で見たように、これも計算タスクです。あなたの脳は、目からの情報を入力として、多数のピクセルの色に関する情報を評価し、その出力として口や声帯を制御する筋肉への情報を生成しています。コンピュータ科学者はこのタスクを「画像分類」と呼び、その後に「音声合成」が続きます。この計算は掛け算のタスクよりもはるかに複雑ですが、あなたはそれを非常に速く、ほとんど努力せずに、しかもどのように行っているかを意識せずに行うことができます。あなたの主観的な体験は、単にその絵を見て、認識の感覚を体験し、「アインシュタイン」と言っている自分を聞くことに過ぎません。 心理学者たちは、瞬き反射や呼吸、手を伸ばすこと、物をつかむこと、バランスを保つことなど、無意識に広範なタスクや行動を行うことができることを長い間知っています。通常、あなたは自分が何をしたかは意識していますが、どのようにそれを行ったかは意識していません。一方で、慣れない状況、自制心、複雑な論理ルール、抽象的な推論、言語の操作を伴う行動は、意識的である傾向があります。これらは意識の行動的相関関係として知られており、密接に関連しています。 心理学者が「システム2」と呼ぶ、努力を要し、ゆっくりとした制御された思考方法があります。また、歩くこと、水泳、自転車、運転、タイピング、ひげ剃り、靴ひもを結ぶこと、コンピュータゲーム、ピアノ演奏など、多くのルーチンを意識的なものから無意識的なものに変換できることも知られています。実際、専門家は「フロー」の状態にあるときに最も良いパフォーマンスを発揮し、何が起こっているかを高いレベルでのみ意識し、どのようにそれを行っているかの低いレベルの詳細には無意識であることがよく知られています。たとえば、次の文を読むときに、最初に読んだときのようにすべての文字を意識的に認識しながら読んでみてください。その際、単語やアイデアのレベルでテキストを意識しているときと比べて、どれほど遅く感じるかを実感できますか？実際、無意識の情報処理は可能であるだけでなく、例外よりもむしろ一般的であるようです。証拠によれば、私たちの感覚器官から毎秒脳に入る約10^7ビットの情報のうち、意識的に認識できるのはわずかな部分であり、推定値は10ビットから50ビットの範囲です。これは、私たちが意識的に認識している情報処理が氷山の一角に過ぎないことを示唆しています。これらの手がかりを総合すると、一部の研究者は意識的な情報処理を私たちの心のCEOとして考えるべきだと提案しています。これは、脳全体からのデータの複雑な分析を必要とする最も重要な決定のみを扱うということです。これは、企業のCEOと同様に、通常は部下が何をしているかを知ることで気を散らされたくない理由を説明しますが、必要であればそれを知ることもできます。この選択的注意を体験するために、再び「desired」という単語を見てみましょう。「i」の上の点に視線を固定し、目を動かさずに点から全体の文字、そして全体の単語に注意を移してください。網膜からの情報は変わらないのに、あなたの意識的な体験は変化しました。CEOのメタファーは、専門知識が無意識になる理由も説明しています。読んだりタイピングしたりする方法を苦労して理解した後、CEOはこれらのルーチンタスクを無意識の部下に委任し、新たな高次の課題に集中できるようにします。 意識はどこにあるのか？巧妙な実験や分析は、意識が特定の行動だけでなく、特定の脳の部位にも限られていることを示唆しています。主要な容疑者はどれでしょうか？最初の手がかりの多くは、脳の損傷を持つ患者から得られました。これは、事故、脳卒中、腫瘍、感染によって引き起こされる局所的な脳の損傷です。しかし、これはしばしば決定的ではありませんでした。たとえば、脳の後部に損傷があると失明を引き起こすという事実は、視覚的意識の場所を示しているのでしょうか、それとも視覚情報が意識に達する前にそこを通過するだけなのでしょうか？それは、視覚情報が最初に目を通過するのと同じようにです。 病変や医療介入によって意識的な体験の場所が特定されていないものの、それらは選択肢を絞り込む手助けをしてきました。例えば、私は手に痛みを感じるとき、それが実際にそこに起こっていると感じますが、実際には痛みの体験は別の場所で起こっているに違いありません。なぜなら、ある外科医が私の手に何も手を加えずに手の痛みを消したことがあるからです。彼は単に肩の神経を麻酔しただけでした。さらに、ある義肢を持つ人々は、存在しない手に痛みを感じる幻肢痛を経験します。別の例として、私はかつて右目だけで見ると視野の一部が欠けていることに気づきました。医者は私の網膜が剥がれかけていると判断し、再接着しました。それに対して、特定の脳の病変を持つ患者は半側無視を経験します。彼らもまた視野の半分の情報を見逃しますが、それが欠けていることに気づいていません。例えば、皿の左半分にある食べ物に気づかず、食べることができないのです。まるで彼らの世界の半分に関する意識が消えてしまったかのようです。しかし、これらの損傷した脳の領域は空間体験を生成するべきなのでしょうか、それとも単に意識の場所に空間情報を送っているだけなのでしょうか？1930年代にアメリカ・カナダの先駆的な神経外科医ワイルダー・ペンフィールドは、彼の神経外科手術の患者が、現在「体性感覚皮質」と呼ばれる特定の脳の領域を電気的に刺激した際に、体の異なる部分が触れられたと報告したことを発見しました。また、彼は「運動皮質」と呼ばれる脳の領域を刺激したときに、患者が無意識に体の異なる部分を動かすことも発見しました。しかし、これがこれらの脳の領域での情報処理が触覚や運動の意識に対応していることを意味するのでしょうか？幸いなことに、現代の技術は私たちにより詳細な手がかりを提供しています。私たちはまだ約1000億のニューロンのすべての発火を測定できる段階には達していませんが、脳を読み取る技術は急速に進歩しています。fMRI、EEG、MEG、ECoG、ePhys、蛍光電圧センサーなど、 intimidating な名前を持つ技術が含まれています。fMRI（機能的磁気共鳴画像法）は、水素原子核の磁気特性を測定し、約1秒ごとに脳の3Dマップをミリメートルの解像度で作成します。EEG（脳波計）とMEG（磁気脳波計）は、頭の外側の電気および磁場を測定し、脳を1秒間に何千回もマッピングしますが、解像度は低く、数センチメートル未満の特徴を区別することはできません。もしあなたが神経質であれば、これらの3つの技術がすべて非侵襲的であることを評価するでしょう。もし頭蓋骨を開けることを気にしないのであれば、追加の選択肢があります。ECoG（脳皮質電図）は、例えば100本のワイヤーを脳の表面に配置することを含み、ePhys（生理学的電気測定）は、時には人間の髪の毛よりも細いマイクロワイヤーを脳の深部に挿入し、最大1000の同時位置から電圧を記録します。 多くのてんかん患者は、発作を引き起こしている脳の部分を特定し、切除すべきかどうかを判断するために、ECoG（脳皮質内電気生理学）を用いて数日間病院に入院します。その間、彼らは神経科学者たちが意識に関する実験を行うことを快く承諾します。最終的に、蛍光電圧センサー技術は、神経細胞を遺伝子操作して発火時に光を放つようにし、顕微鏡でその活動を測定できるようにします。この技術は、少なくとも透明な脳を持つ動物、例えば302個の神経細胞を持つC. elegans（線虫）や約10万個の神経細胞を持つ幼生ゼブラフィッシュにおいて、最も多くの神経細胞を迅速に監視する可能性を秘めています。 前頭葉、一次体性感覚皮質、頭頂葉、眼窩前頭皮質、後頭葉、ウェルニッケ野、小脳、脳幹の図8.3では、視覚、聴覚、触覚、運動の活性化に関与する皮質が示されていますが、これらが意識の場であることを証明するものではありません。実際、最近の研究では、一次視覚皮質は完全に無意識であり、小脳や脳幹も同様であることが示唆されています。画像はLachina（www.lachina.com）提供です。 フランシス・クリックはクリストフ・コッホに意識の研究を警告しましたが、コッホは諦めず、最終的にはクリックを説得しました。1990年、彼らは「意識の神経相関」（NCC）と呼ばれるものについての画期的な論文を執筆し、どの特定の脳のプロセスが意識的な経験に対応するのかを問いかけました。何千年もの間、思想家たちは自らの主観的な経験と行動を通じて脳内の情報処理にアクセスしてきました。クリックとコッホは、脳読み取り技術が突然この情報への独立したアクセスを提供し、どの情報処理がどの意識的経験に対応するのかを科学的に研究できるようになったことを指摘しました。実際、技術主導の測定は、NCCの探求を神経科学の主流の一部に変え、その数千の出版物は最も権威あるジャーナルにも掲載されています。 さて、これまでの結論は何でしょうか？NCCの探偵作業を感じるために、まずあなたの網膜が意識を持っているのか、それとも視覚情報を記録し処理して、あなたの脳内の下流のシステムに送信するゾンビシステムに過ぎないのかを考えてみましょう。図8.4の左パネルでは、AとBのどちらの四角が暗いですか？Aですよね？いいえ、実際には同じ色をしています。指の間の小さな穴を通して見ることで確認できます。これは、あなたの視覚体験が完全に網膜に存在することはできないことを証明しています。もしそうであれば、同じに見えるはずです。次に、図8.4の右パネルを見てください。二人の女性が見えますか、それとも花瓶ですか？十分に見ると、あなたは主観的に両方を連続して体験することになりますが、網膜に届く情報は同じままです。 脳内での二つの状況における出来事を測定することで、何が違いを生み出しているのかを明らかにすることができます。そして、その違いは網膜にはなく、両方のケースで同じように機能しています。「意識的網膜仮説」に対する致命的な打撃は、クリストフ・コッホやスタニスラス・デハーヌらが開発した「連続フラッシュ抑制」という技術から来ています。この技術により、片方の目で複雑なパターンの急速な変化を見せると、視覚システムがそれに気を取られ、もう一方の目に見せられた静止画像に対して完全に無自覚になることが発見されました。要するに、網膜には視覚的な画像が存在していても、それを体験することはなく、逆に夢の中では網膜に映っていない画像を体験することができるのです。これは、あなたの二つの網膜が視覚的意識を宿しているわけではないことを証明しています。たとえそれらが一億以上のニューロンを使って複雑な計算を行っていてもです。 図8.4：どちらの四角が暗いですか—AそれともB？右側に見えるのは花瓶、二人の女性、それともその両方が続けて見えるのでしょうか？このような錯覚は、あなたの視覚的意識が目や視覚システムの初期段階に存在しないことを証明しています。なぜなら、それは単に画像に何が映っているかだけに依存しているわけではないからです。NCC（意識の神経基盤）研究者たちは、連続フラッシュ抑制や不安定な視覚・聴覚の錯覚、その他のトリックを用いて、あなたの意識的体験に関与する脳のどの領域が責任を持っているかを特定しています。基本的な戦略は、感覚入力を含むほぼすべてが同じである二つの状況で、ニューロンが何をしているかを比較することです—意識的体験を除いて。異なる振る舞いを示す脳の部分がNCCとして特定されます。このようなNCC研究は、あなたの意識が腸に存在しないことを証明しています。腸には、食物を最適に消化する方法を計算する50億ものニューロンを持つ腸神経系がありますが、空腹感や吐き気といった感情は脳で生じます。同様に、あなたの意識は脳幹にも存在しないようです。脳幹は脊髄に接続し、呼吸、心拍数、血圧を制御する脳の下部です。さらに衝撃的なのは、あなたの意識が小脳にも及ばないようだということです（図8.3）。小脳には全ニューロンの約三分の二が含まれていますが、小脳が損傷を受けた患者は、酔っ払いのような言葉のもつれや不器用な動作を経験しますが、完全に意識は保たれています。どの脳の部分が意識に関与しているのかという問題は、依然として未解決であり、議論の余地があります。最近のNCC研究のいくつかは、あなたの意識が主に「ホットゾーン」に存在することを示唆しています。 視床（脳の中央付近）と皮質の後部（しわの寄った六層のシートで構成され、平らにすると大きなディナーナプキンの面積に相当する外側の脳の層）についての研究があります。この研究は、視覚の主要な皮質が頭の後ろに位置し、目や網膜と同様に無意識であるという、物議を醸す提案をしています。 では、意識はいつ生じるのでしょうか？これまで、私たちは意識的な情報処理の種類や意識がどこで発生するかについての実験的な手がかりを見てきました。しかし、意識はいつ発生するのでしょうか？子供の頃、私は出来事が起こると同時に意識が生じると思っていました。まったく時間の遅れやディレイがないと感じていました。それが今でも主観的にはそう感じますが、実際には正しくないことは明らかです。なぜなら、私の脳が感覚器官を通じて入ってくる情報を処理するのには時間がかかるからです。NCC（神経相関コンシャスネス）研究者たちは、その時間を慎重に測定しており、クリストフ・コッホのまとめによれば、複雑な物体から光が目に入ってから、それを意識的に認識するまでに約0.25秒かかるとのことです。これは、もしあなたが時速55マイルで高速道路を走行中に、数メートル前にリスを見つけた場合、すでにリスを轢いてしまっているということを意味します。 要するに、あなたの意識は過去に存在しており、クリストフ・コッホは外の世界に対して約0.25秒遅れていると推定しています。興味深いことに、あなたは物事に対して意識するよりも早く反応することができることが多く、これは最も迅速な反応を担当する情報処理が無意識であることを証明しています。例えば、異物が目に近づくと、まばたき反射によってまぶたがわずか0.1秒で閉じることができます。まるで脳の一部が視覚系から危険な情報を受け取り、「目が危険にさらされている」と計算し、まばたきするように目の筋肉に指示を送り、同時に意識的な脳に「ねえ、まばたきするよ」とメールを送るかのようです。このメールが読まれ、意識的な体験に組み込まれる頃には、まばたきはすでに行われています。 実際、このメールを読むシステムは、体全体からのメッセージに常にさらされていますが、その中には遅延のあるものもあります。指から脳に神経信号が届くのには顔からよりも時間がかかりますし、画像を分析するのには音よりも時間がかかります。これは、オリンピックのレースが視覚的な合図ではなく、音で始まる理由でもあります。しかし、鼻に触れると、鼻と指先の感覚を同時に意識的に体験しますし、手を叩くと、叩く音を見て、聞いて、感じることがまったく同時に起こります。これは、出来事の完全な意識的体験が、最後の遅れたメールの報告が届き、分析されるまで作られないことを意味しています。 著名なNCC（神経相関）実験の一つであるベンジャミン・リベットによる研究は、無意識に行える行動が瞬きや卓球のスマッシュのような迅速な反応に限らず、自由意志に起因すると思われる特定の決定も含まれることを示しています。脳の測定によって、あなたがその決定を意識する前に予測できることもあるのです。 意識の理論 私たちは、意識についてまだ理解が進んでいないものの、そのさまざまな側面に関する驚くべき実験データを持っていることを見てきました。しかし、これらのデータはすべて脳から得られたものです。では、これが機械の意識について何を教えてくれるのでしょうか？これは、現在の実験領域を超えた大きな推論を必要とします。言い換えれば、理論が必要です。 なぜ理論が必要なのか？ 意識の理論を重力の理論と比較してみましょう。科学者たちは、ニュートンの重力理論を真剣に受け止め始めました。なぜなら、彼らはそれから得られるものが投入するものよりも多かったからです。ナプキンに収まるシンプルな方程式が、これまで行われたすべての重力実験の結果を正確に予測できたのです。そのため、彼らはこの理論がテストされた範囲を超えた予測も真剣に受け止めました。そして、これらの大胆な推論は、数百万光年にわたる銀河の運動に対しても機能することが判明しました。しかし、太陽の周りを回る水星の運動に関しては、予測がわずかに外れていました。そこで、科学者たちはアインシュタインの改良された重力理論である一般相対性理論を真剣に受け止め始めました。これは、より優雅で経済的であり、ニュートンの理論が間違っていたことを正しく予測したからです。その結果、彼らはこの理論がテストされた範囲を超えた予測も真剣に受け止め、ブラックホールや時空の非常に構造における重力波、そして熱い炎の起源からの宇宙の膨張といった非常にエキゾチックな現象に対しても、実験によって確認されました。 類似して、ナプキンに収まる方程式を持つ意識の数学的理論が、私たちが脳に対して行うすべての実験の結果を成功裏に予測できるならば、私たちはその理論自体だけでなく、脳を超えた意識に関する予測、たとえば機械における意識についても真剣に受け止めるようになるでしょう。 物理学的視点からの意識 意識に関するいくつかの理論は古代にさかのぼりますが、ほとんどの現代の理論は神経心理学や神経科学に基づいており、脳内で発生する神経イベントを通じて意識を説明し、予測しようとしています。これらの理論は、意識の神経相関に関していくつかの成功した予測を行っていますが、機械の意識について予測を行うことはできませんし、そうしたいとも思っていません。脳から機械への飛躍を実現するためには、NCCからPCC（意識の物理的相関）へと一般化する必要があります。PCCは、意識を持つ粒子の動きのパターンとして定義されます。 もし理論が、素粒子や力場といった物理的な構成要素だけを参照することで、何が意識的で何がそうでないかを正しく予測できるのなら、それは脳だけでなく、未来のAIシステムを含むあらゆる物質の配置についても予測を行うことができるでしょう。そこで、物理学の観点から考えてみましょう：どの粒子の配置が意識を持つのでしょうか？しかし、これは別の疑問を引き起こします。意識のような複雑なものが、粒子のような単純なもので構成されることができるのはなぜでしょうか？私は、それが粒子の特性を超えた性質を持つ現象だからだと思います。物理学では、そのような現象を「創発的」と呼びます。 このことを、意識よりも単純な創発的現象である「湿り気」を見て理解しましょう。水滴は湿っていますが、氷の結晶や水蒸気の雲は湿っていません。なぜなら、これらは同じ水分子からできているにもかかわらず、湿り気の特性は分子の配置にのみ依存するからです。単一の水分子が湿っていると言うのは全く意味がありません。湿り気の現象は、多くの分子が液体と呼ばれるパターンで配置されるときにのみ現れます。したがって、固体、液体、気体はすべて創発的現象です。これらは、その構成要素の合計以上のものであり、粒子の特性を超えた性質を持っています。粒子が持たない特性を持っているのです。 固体、液体、気体と同様に、私は意識も粒子の特性を超えた創発的現象だと思います。例えば、深い睡眠に入ると意識は消えますが、それは単に粒子の配置が変わることによって起こります。同様に、私が凍死した場合、粒子が不幸な形で再配置されることで意識は消えてしまいます。水から脳に至るまで、多くの粒子を組み合わせると、新しい現象が現れ、観察可能な特性が生じます。物理学者として、私たちはこれらの創発的特性を研究するのが大好きです。これらの特性は、測定可能な小さな数値のセットによって特定できることが多く、例えば物質の粘度や圧縮性などの量が含まれます。例えば、物質が非常に粘性が高くて剛性を持つ場合、私たちはそれを固体と呼びます。そうでなければ、流体と呼びます。そして、流体が圧縮できない場合は液体と呼び、そうでなければ気体やプラズマと呼びます。これは、電気をどれだけよく導くかによって異なります。 意識を情報として捉える では、意識を定量化する類似の量が存在するのでしょうか？イタリアの神経科学者ジュリオ・トノーニは、そのような量の一つを提案しています。彼はそれを「統合情報」と呼び、ギリシャ文字のΦ（ファイ）で表します。これは基本的に、システムの異なる部分が互いにどれだけ知識を持っているかを測定するものです。 初期状態：後の状態： ®はプロセスを独立した部分に分割できないことを測定します。 図8.5：物理的プロセスが時間の経過とともに、システムの初期状態を新しい状態に変化させる場合、その統合情報®はプロセスを独立した部分に分割できないことを測定します。もし各部分の未来の状態が自分自身の過去のみに依存し、他の部分が何をしていたかには依存しないなら、®は0になります。つまり、私たちが一つのシステムと呼んでいるものは、実際には全くコミュニケーションを取らない二つの独立したシステムなのです。 私は2014年にプエルトリコで開催された物理学会議でジュリオに初めて会いました。彼とクリストフ・コッホを招待したのですが、彼はまさにルネサンスの人間そのもので、ガリレオやレオナルド・ダ・ヴィンチとすぐに打ち解けるような人物でした。彼の静かな態度は、芸術、文学、哲学に関する驚異的な知識を隠すことはできませんでしたし、料理の評判も先行していました。ある国際的なテレビジャーナリストが、ジュリオが数分で彼が人生で味わった中で最も美味しいサラダを作ったと教えてくれたのです。私はすぐに、彼の穏やかな態度の裏には、先入観やタブーにとらわれず、証拠を追い求める恐れを知らない知性があることに気づきました。ガリレオが地動説に挑戦しないようにという圧力にもかかわらず運動の数学理論を追求したように、ジュリオはこれまでで最も数学的に正確な意識理論、統合情報理論（IIT）を発展させました。 私は数十年にわたり、意識とは特定の複雑な方法で情報が処理される際の感覚であると主張してきました。IITはこれに同意し、私の曖昧な表現「特定の複雑な方法」を正確な定義に置き換えます。それは、情報処理が統合される必要があり、つまり、®が大きくなければならないということです。ジュリオのこの主張は、シンプルでありながら非常に強力です。意識的なシステムは統一された全体に統合される必要があります。もしそれが二つの独立した部分から成り立っているなら、それらは一つの意識的存在ではなく、二つの別々の意識的存在として感じられるからです。言い換えれば、脳やコンピュータの意識的な部分が他の部分とコミュニケーションを取れない場合、残りの部分はその主観的な経験の一部にはなれません。 ジュリオと彼の共同研究者たちは、脳の磁気刺激に対する反応を測定するためにEEGを使用して、®の簡略版を測定しました。彼らの「意識検出器」は非常に効果的に機能しました。患者が目覚めているときや夢を見ているときには意識があると判断し、麻酔されているときや深い睡眠にあるときには無意識であると判断しました。さらに、「ロックイン症候群」に苦しむ二人の患者においても意識を発見しました。彼らは通常の方法で動いたりコミュニケーションを取ったりすることができませんでした。この技術は、将来的に医師が特定の患者が意識を持っているかどうかを判断するための有望な技術として浮上しています。 物理学における意識の固定化 IITは、有限の数の状態にある離散システムに対してのみ定義されます。例えば、コンピュータメモリ内のビットや、オンまたはオフのいずれかの状態にある単純化されたニューロンなどです。 残念ながら、IIT（統合情報理論）は、連続的に変化するほとんどの伝統的な物理システムには定義されていません。たとえば、粒子の位置や磁場の強さは無限の値を取ることができます。このようなシステムにIITの公式を適用しようとすると、通常は無限大という役に立たない結果が得られます。量子力学的なシステムは離散的であることがありますが、元のIITは量子システムには定義されていません。では、どのようにしてIITや他の情報に基づく意識理論をしっかりとした物理的基盤に結びつけることができるのでしょうか？これは、第2章で学んだ、物質の塊が情報に関連する創発的な特性を持つことができるという知見を基にすることで可能です。情報を保存できる記憶装置として機能するためには、多くの長寿命の状態を持つ必要があることを見ました。また、計算を行うことができる物質である「コンピュートロニウム」であるためには、複雑なダイナミクスも必要であり、物理法則がそれを複雑な方法で変化させる必要があることも確認しました。これにより、任意の情報処理を実行できるようになります。最後に、神経ネットワークが学習において強力な基盤である理由を見ました。物理法則に従うことで、自らを再配置し、望ましい計算を実行する能力を向上させることができるからです。 今、私たちは追加の質問をしています。それは、物質の塊が主観的な経験を持つことができるのは何によるのか、ということです。言い換えれば、物質の塊が次の4つのことを行うためには、どのような条件が必要なのでしょうか？ 1. 記憶する 2. 計算する 3. 学習する 4. 経験する 第2章では最初の3つを探求し、今は4つ目に取り組んでいます。マルゴルスとトフォリが任意の計算を行う物質に「コンピュートロニウム」という用語を作ったように、私は主観的な経験を持つ最も一般的な物質に「セントロニウム」という用語を使いたいと思います。しかし、意識が物理現象であるにもかかわらず、なぜそれが非常に非物理的に感じられるのでしょうか？それは、物理的基盤からかなり独立しているからだと思います。つまり、意識はそのパターンが存在する物質から独立しているのです！第2章では、波や記憶、計算など、基盤に依存しないパターンの美しい例をたくさん見ました。それらは単に部分の集合以上のもの（創発的）ではなく、むしろ部分から独立しており、自らの生命を持つように振る舞います。たとえば、将来のシミュレーションされた心やコンピューターゲームのキャラクターは、Windows、Mac OS、Androidフォン、または他のオペレーティングシステムの上で動作しているかどうかを知る方法がありません。なぜなら、それは基盤に依存しないからです。また、そのコンピュータの論理ゲートがトランジスタ、光回路、または他のハードウェアでできているかどうかも判断できません。物理法則が何であるかも関係ありません。普遍的なコンピュータを構築できる限り、どんなものであっても構わないのです。 要約すると、私は意識は物理的現象でありながら非物理的に感じられるものであると考えています。それは波や計算のようなもので、特定の物理的基盤に依存しない特性を持っています。この考えは、意識を情報として捉えるアイデアから論理的に導かれます。ここから私が非常に気に入っている過激なアイデアが生まれます。それは、もし意識が情報が特定の方法で処理されるときの感覚であるならば、意識は基盤に依存しないはずだということです。重要なのは情報処理の構造であり、それを行う物質の構造ではありません。言い換えれば、意識は二重に基盤に依存しないのです！私たちが見てきたように、物理学は粒子が動くことに対応する時空間のパターンを記述します。粒子の配置が特定の原則に従うと、粒子の基盤からかなり独立した現象が現れ、まったく異なる感覚を持つようになります。この良い例が、コンピュータニウムにおける情報処理です。しかし、私たちはこのアイデアをさらに一歩進めました。もし情報処理自体が特定の原則に従うなら、それは意識と呼ばれる高次の現象を生み出すことができます。これにより、あなたの意識的体験は物質から一段階ではなく二段階上に位置づけられます。だからこそ、あなたの心は非物理的に感じられるのです！ここで疑問が生じます：意識を持つために情報処理が従うべき原則とは何でしょうか？私は意識を保証するために十分な条件が何かを知っているわけではありませんが、私が賭ける必要条件として以下の4つを挙げ、研究を通じて探求してきました。 原則 定義 情報原則 | 意識を持つシステムは substantial information- | storage capacityを持つ。 ダイナミクス原則 | 意識を持つシステムは substantial information- | processingを持つ。 独立性原則 | 意識を持つシステムは substantial independence | from the rest of the worldを持つ。 統合原則 | 意識を持つシステムは nearly independent partsから成り立たない。 私が言ったように、意識は情報が特定の方法で処理されるときの感覚であると思います。つまり、意識を持つためには、システムが情報を保存し処理できる必要があり、これが最初の2つの原則を示唆しています。記憶が長く続く必要はないことに注意してください。クライブ・ウェアリングの感動的な動画を観ることをお勧めします。彼は記憶が1分も持続しないにもかかわらず、完全に意識的に見えます。私はまた、意識を持つシステムは世界の他の部分からかなり独立している必要があると考えています。そうでなければ、主観的に独立した存在を持っていると感じることはないでしょう。最後に、意識的システムは、ジュリオ・トノーニが主張したように、統合された全体に組み込まれている必要があります。もしそれが2つの独立した部分から成り立っていたら、それらは1つではなく2つの別々の意識的存在のように感じられるでしょう。最初の3つの原則は、自律性を示唆しています。つまり、そのシステムは外部からの干渉をあまり受けることなく情報を保持し処理できるため、自らの未来を決定することができるのです。 四つの原則を合わせると、システムは自律的であるが、その構成要素は自律的ではないということを意味します。もしこれらの四つの原則が正しいなら、私たちはやるべきことが明確になります。それは、これらの原則を体現し、実験的に検証するための数学的に厳密な理論を探すことです。また、追加の原則が必要かどうかも判断する必要があります。IIT（統合情報理論）が正しいかどうかに関わらず、研究者は競合する理論を開発し、すべての利用可能な理論をより良い実験で検証するべきです。 意識に関する論争 私たちはすでに、意識研究が非科学的なナンセンスであり、無意味な時間の浪費であるという永遠の論争について議論しました。さらに、意識研究の最前線では最近の論争があり、私が最も啓発的だと感じるものを探ってみましょう。ジュリオ・トノーニのIITは、最近、称賛だけでなく、厳しい批判も受けています。スコット・アーロンソンは最近、自身のブログでこう述べました。「私の意見では、統合情報理論が間違っていること—その核心に関わる理由から明らかに間違っていること—は、提案されたすべての意識に関する数学的理論の中で、上位2%に入るものだと思います。ほとんどの競合する意識理論は、あまりにも曖昧でふわふわしていて、間違っていることを目指すことしかできないように思えます。」スコットとジュリオの両者に敬意を表して、私が最近のニューヨーク大学のワークショップで彼らがIITについて議論しているのを見たとき、彼らは決して衝突することはなく、お互いの主張を丁寧に聞いていました。アーロンソンは、特定の単純な論理ゲートのネットワークが非常に高い統合情報（®）を持っていることを示し、それらが明らかに意識を持っていないため、IITは間違っていると主張しました。ジュリオは、もしそれらが構築されれば意識を持つだろうと反論し、スコットの反対の仮定は人間中心的な偏見であると述べました。まるで屠殺場の所有者が、動物が話せず、人間とは非常に異なるから意識を持てないと主張するかのようです。私の分析は、彼らが統合が意識の単なる必要条件であるべきか（スコットはそれに同意していました）、または十分条件でもあるべきか（ジュリオが主張していた）で意見が対立しているというもので、彼らもそれに同意しました。後者は明らかにより強く、議論の余地がある主張であり、私たちが近いうちに実験的に検証できることを期待しています。 もう一つの論争のあるIITの主張は、今日のコンピュータアーキテクチャは意識を持つことができないということです。なぜなら、論理ゲートの接続方法が非常に低い統合をもたらすからです。言い換えれば、もしあなたが未来の高性能ロボットに自分自身をアップロードし、あなたのすべてのニューロンとシナプスを正確にシミュレートした場合、 それでは、たとえこのデジタルクローンがあなたと見た目や話し方、行動が区別できないほど似ていたとしても、ジュリオはそれが主観的な経験を持たない無意識のゾンビであると主張しています。もしあなたが主観的な不死を求めて自分自身をアップロードした場合、これは失望することになるでしょう。この主張は、デイビッド・チャーマーズやAI教授のマレー・シャナハンによって反論されています。彼らは、もしあなたが脳内の神経回路を仮想のデジタルハードウェアに徐々に置き換えた場合に何が起こるかを想像しています。置き換えが完璧なシミュレーションであると仮定すると、あなたの行動には影響がないものの、ジュリオによれば、あなたの経験は最初は意識的で、最終的には無意識的に変わることになります。しかし、置き換えが進む中で、その過程はどのように感じられるのでしょうか？視覚の上半分の意識的な経験を担う脳の部分が置き換えられたとき、あなたはその視覚の一部が突然欠けていることに気づくでしょうが、なぜかそこに何があったのかを知っているという、いわゆる「ブラインドサイト」を持つ患者の報告のようなことが起こるのでしょうか？これは非常に不安を引き起こす事態です。もしあなたが意識的に何らかの違いを経験できるのなら、友人にそのことを尋ねられたときに話すこともできるはずです。しかし、仮定に従えば、あなたの行動は変わることができません。仮定と矛盾しない唯一の論理的な可能性は、あなたの意識から何かが消える瞬間に、あなたの心が神秘的に変化し、あなたに嘘をつかせたり、経験が変わったことを忘れさせたりすることです。一方で、マレー・シャナハンは、意識的でないのに意識的に行動できるという理論に対しても同様の段階的置き換えの批判ができることを認めています。そうなると、あなたは行動することと意識することが同じであり、外部から観察可能な行動だけが重要だと結論づけたくなるかもしれません。しかし、そうなると、夢を見ている間は無意識だと予測する罠に陥ってしまいますが、あなたはそれが間違っていることを知っています。第三のIIT（統合情報理論）に関する論争は、意識的な存在が別々に意識を持つ部分から成り立つことができるかどうかです。たとえば、社会全体が意識を持つことができる一方で、その中の人々が意識を失うことはあるのでしょうか？意識的な脳が、自らも意識を持つ部分を持つことができるのでしょうか？IITからの予測は明確に「いいえ」です。しかし、すべての人が納得しているわけではありません。たとえば、脳の左右の半球間のコミュニケーションが著しく減少する病変を持つ患者は、「エイリアンハンド症候群」を経験します。これは、右脳が左手を動かすが、患者はそれを自分が引き起こしたり理解したりしていないと主張する状態です。時には、患者は他の手を使って「エイリアン」ハンドを抑え込むことさえあります。彼らの頭の中に、右半球に話すことができない意識と、左半球に話すことができる意識が別々に存在している可能性があることを、どうしてそんなに確信できるのでしょうか？ 未来の技術を使って、二つの人間の脳の間に直接的なコミュニケーションリンクを構築し、その容量を徐々に増やしていくことを想像してみてください。このリンクが脳内のコミュニケーションと同じくらい効率的になるまで。果たして、二つの個別の意識が突然消え、一つの統一された意識に置き換わる瞬間が訪れるのでしょうか？それとも、個別の意識が何らかの形で共存しながら、共同体験が徐々に現れてくるのでしょうか？もう一つ興味深い論争は、実験が私たちが意識していることを過小評価しているのではないかという点です。私たちは、色、形、物体、そして目の前にあるすべての情報に対して視覚的に意識していると感じていますが、実際には実験によって、私たちが記憶し報告できるのはごくわずかな部分に過ぎないことが示されています。一部の研究者は、この矛盾を解決するために、「アクセスのない意識」という概念を提唱しています。つまり、私たちの作業記憶に収まらないほど複雑なものに対する主観的な体験があるのではないかということです。例えば、注意が散漫になり、目の前にある物体に気づかない「無意識の盲点」を経験した場合、それはその物体に対する意識的な視覚体験がなかったことを意味するのではなく、単にそれが作業記憶に保存されなかっただけです。これは盲点ではなく、忘却として扱うべきでしょうか？他の研究者たちは、人々が自分の経験について語ることが信頼できないという考えを否定し、その影響について警告しています。マレー・シャナハンは、患者が新しい画期的な薬のおかげで完全に痛みが和らいだと報告する臨床試験を想像しますが、それが政府の委員会によって却下されます。「患者は痛みがないと思っているだけです。神経科学のおかげで、私たちはもっとよく知っています。」一方で、手術中に偶然目を覚ました患者が、その苦痛を忘れさせる薬を投与されたケースもあります。彼らが痛みを感じなかったと報告することを信じるべきでしょうか？AIの意識はどのように感じるのでしょうか？もし将来のAIシステムが意識を持つなら、どのような主観的体験をするのでしょうか？これが意識の「さらに難しい問題」の本質であり、私たちを図8.1に示された第二の難易度のレベルに引き上げます。この質問に答える理論が現在存在しないだけでなく、完全に答えることが論理的に可能かどうかも不明です。結局、満足のいく答えはどのようなものになるのでしょうか？盲目で生まれた人に赤色がどのように見えるかを説明するにはどうすればよいのでしょうか？幸いなことに、完全な答えを提供できない現在の状況は、部分的な答えを提供することを妨げるものではありません。人間の感覚システムを研究する知的な異星人は、色が二次元の表面（私たちの視野）の各点に関連付けられたクオリアであると推測するでしょう。一方、音は空間的に局所化されているようには感じられず、痛みは私たちの体の異なる部分に関連付けられたクオリアであると考えるでしょう。 私たちの網膜には3種類の光に敏感な錐体細胞があることを発見したことから、彼らは私たちが3つの基本的な色を経験し、それ以外のすべての色の質はそれらを組み合わせることによって生じると推測しました。神経細胞が脳内で情報を伝達するのにかかる時間を測定することで、私たちが1秒あたり約10個の意識的な思考や知覚しか経験しないことを結論づけることができました。また、テレビで24フレーム毎秒の映画を観るとき、私たちはそれを静止画像の連続としてではなく、連続した動きとして体験します。アドレナリンが血流に放出される速度や、分解されるまでの時間を測定することで、私たちは怒りの爆発が数秒以内に始まり、数分間続くことを予測できました。 同様の物理学に基づく議論を適用することで、人工意識がどのように感じるかについてのいくつかの推測を行うことができます。まず第一に、AIの経験の可能性の空間は、私たち人間が経験できるものと比べて非常に広大です。私たちは各感覚に対して1つの質のクラスを持っていますが、AIははるかに多くの種類のセンサーや情報の内部表現を持つことができるため、AIであることが必ずしも人間であることと同じように感じるとは限らないという落とし穴に陥らないようにしなければなりません。第二に、脳のサイズの人工意識は、光の速度で電磁信号が伝わるため、私たちよりも1秒あたり何百万倍もの経験を持つことができるでしょう。しかし、AIが大きくなるほど、その全体的な思考は、すべての部分間で情報が流れる時間を確保するために遅くならざるを得ないことが、4章で見た通りです。したがって、地球サイズの「ガイア」AIは、人間と同じように1秒あたり約10の意識的な経験しか持たないと予想され、銀河サイズのAIは約10万年ごとに1つの全体的な思考しか持たない可能性があるため、これまでの宇宙の歴史の中で約100の経験しか持たないことになります！これは、大きなAIにとって、計算を処理できる最小のサブシステムに委任することが、物事を迅速に進めるためのほぼ抵抗しがたいインセンティブを与えることになります。私たちの意識的な心が瞬き反射を小さく、迅速で無意識のサブシステムに委任しているのと同様です。 私たちの脳内での意識的な情報処理が、他の無意識の氷山の一角に過ぎないことは前述の通りですが、将来の大規模なAIにおいては、状況はさらに極端になると予想されます。もし彼らが単一の意識を持っているなら、それは内部で行われているほとんどすべての情報処理に気づいていない可能性が高いのです。さらに、彼らが楽しむ意識的な経験は非常に複雑かもしれませんが、それは彼らの小さな部分の迅速な活動に比べると非常に遅いものです。これは、意識的な存在の一部が意識を持つことができるかどうかという前述の論争を一層浮き彫りにします。IIT（統合情報理論）はそうではないと予測しており、もし未来の天文学的に大きなAIが意識を持っているなら、そのほとんどすべての情報処理は無意識であることを意味します。 これは、もし小さなAIの文明がコミュニケーション能力を向上させ、単一の意識的なハイブマインドが出現するほどになった場合、彼らの個々の意識は急に消えてしまうことを意味します。一方で、IITの予測が間違っている場合、ハイブマインドは小さな意識の多様性と共存することができます。実際、微視的なものから宇宙的なものまで、あらゆるレベルで意識の階層が存在することを想像することもできます。前述のように、私たち人間の脳における無意識の情報処理は、心理学者が「システム1」と呼ぶ、努力を要せず迅速かつ自動的に行われる思考方法と関連しているようです。例えば、あなたのシステム1は、視覚入力データの高度に複雑な分析を通じて、あなたの親友が到着したことを意識に知らせるかもしれませんが、その計算がどのように行われたのかは全くわからないのです。このシステムと意識の間の関連が有効であるならば、この用語をAIに一般化し、無意識のサブユニットに委任されたすべての迅速なルーチン作業をAIのシステム1と呼ぶことが魅力的になるでしょう。もし意識があるなら、AIの努力を要する遅くて制御された全体的な思考はAIのシステム2となります。私たち人間も「システム0」と呼ぶことができる意識的な経験を持っています。それは、動かずに考えず、周囲の世界をただ観察しているときに起こる生の受動的な知覚です。システム0、1、2は徐々に複雑さが増しているように見えますが、真ん中のシステムだけが無意識であることが際立っています。IITは、システム0の生の感覚情報が非常に高い統合を持つ格子状の脳構造に保存されていると説明しています。一方、システム2はフィードバックループによって高い統合を持ち、現在意識しているすべての情報が将来の脳の状態に影響を与えることができます。しかし、まさにこの意識的なグリッドの予測が、スコット・アーロンソンの前述のIIT批判を引き起こしました。要約すると、意識の難しい問題を解決する理論がいつの日か厳密な実験テストを通過し、その予測を真剣に受け止めるようになれば、将来の意識を持つAIが何を経験するかというさらに難しい問題の選択肢を大幅に絞り込むことになるでしょう。私たちの主観的な経験のいくつかの側面は、明らかに私たちの進化的起源に遡るものであり、例えば自己保存に関連する感情的な欲求（食事、飲水、殺されることを避けること）や繁殖に関するものです。これは、AIが飢え、渇き、恐怖、または性的欲望といったクオリアを一切経験しないように作成することが可能であることを意味します。前の章で見たように、非常に知的なAIがほぼあらゆる十分に野心的な目標を持つようにプログラムされている場合、その目標を達成するために自己保存を目指す可能性が高いのです。 人工知能（AI）が社会の一部である場合、彼らは私たち人間の死に対する強い恐怖を欠いているかもしれません。バックアップを取っている限り、失うものは最近のバックアップ以降に蓄積した思い出だけであり、バックアップされたソフトウェアが使用されることに自信を持っている限り、彼らは安心しているのです。また、AI同士で情報やソフトウェアを簡単にコピーできる能力は、私たち人間の意識に特徴的な強い個性の感覚を減少させるでしょう。もし私たちが全ての思い出や能力を簡単に共有・コピーできるなら、あなたと私の間の違いは少なくなり、近くにいるAIの集団はまるで一つの有機体のように感じられるかもしれません。 人工的な意識は、自分に自由意志があると感じるのでしょうか？哲学者たちは何千年も自由意志について議論してきましたが、その定義さえも合意に至っていません。しかし、私が尋ねているのは、より簡単に考えられる別の質問です。私の主張を聞いてください。「はい、意識を持つ意思決定者は、生物的であれ人工的であれ、主観的に自由意志を持っていると感じるでしょう」と言えます。意思決定は、次の二つの極端の間のスペクトルに位置します。 1. あなたはなぜその特定の選択をしたのか正確に知っている。 2. あなたはなぜその特定の選択をしたのか全くわからない—それは気まぐれでランダムに選んだように感じる。 自由意志に関する議論は、私たちの目標指向の意思決定行動と物理法則との調和を図ることに焦点を当てることが多いです。もしあなたが自分の行動について次の二つの説明のどちらかを選ぶとしたら、どちらが正しいでしょうか？「私は彼女が本当に好きだったのでデートに誘った」それとも「私の粒子が物理法則に従って動いたのでそうした」？しかし、前の章で見たように、どちらも正しいのです。目標指向の行動のように感じるものは、目標のない決定論的な物理法則から生じることがあります。より具体的には、システム（脳またはAI）がタイプ1の決定を下すとき、それは決定を下すために何らかの決定論的アルゴリズムを使用して計算を行います。そして、決定したように感じる理由は、実際に何をするかを計算する際に決定を下したからです。 さらに、セス・ロイドが強調しているように、ほとんどすべての計算において、その結果を決定するためのより早い方法は実際に計算を実行すること以外にないという有名なコンピュータサイエンスの定理があります。これは、あなたが1秒以内に何を決定するかを予測することが通常不可能であることを意味し、自由意志を持っているという体験を強化します。対照的に、システム（脳またはAI）がタイプ2の決定を下すとき、それは単に自分の心をプログラムして、あるサブシステムの出力に基づいて決定を下すようにします。そのサブシステムはランダム数生成器として機能します。脳やコンピュータでは、効果的にランダムな数はノイズを増幅することで簡単に生成されます。決定が1から2のスペクトルのどこに位置していても、生物的なものも人工的なものも、同様のプロセスを経ているのです。 人工的な意識は、自分たちに自由意志があると感じています。彼らは、自分たちが本当に決定を下していると感じており、その決定が何になるかを、考えをまとめるまで確実に予測することはできません。中には、因果関係が自分の思考過程を無意味にし、「単なる」機械にしてしまうと感じる人もいますが、私はそのようなネガティブな見方はばかげていて不当だと思います。まず第一に、人間の脳には「単なる」という言葉は当てはまりません。私にとって、人間の脳は私たちの知る宇宙で最も驚くべきほど洗練された物理的な存在です。次に、彼らはどのような代替案を望んでいるのでしょうか？自分の思考過程（脳が行う計算）が自分の決定を下すことを望んでいないのでしょうか？彼らの自由意志の主観的な体験は、計算が内部からどのように感じられるかに過ぎません。計算が完了するまで、その結果を知ることはできません。これが、計算が決定であると言うことの意味です。 意味 この本の出発点に戻って、私たちは未来の生命をどのようにしたいのかを考えましょう。前の章では、世界中の多様な文化がポジティブな体験に満ちた未来を求めていることを見ましたが、何がポジティブと見なされるべきか、異なる生命形態のために何が良いかのトレードオフをどうするかについて合意を得る際に、興味深くも厄介な論争が生じることがわかりました。しかし、その論争に気を取られて、重要なことを見失ってはいけません。意識がなければ、体験が存在しないため、ポジティブな体験も存在し得ないのです。言い換えれば、意識がなければ、幸福や善、美、意味、目的は存在せず、ただの膨大な無駄な空間があるだけです。これは、人々が人生の意味について尋ねるとき、まるで私たちの宇宙が私たちの存在に意味を与えるかのように考えていることを示唆していますが、実際には逆です。意識のある存在が私たちの宇宙に意味を与えているのです。したがって、私たちの未来に対する願望リストの最初の目標は、生物的および/または人工的な意識を私たちの宇宙に保持（そしてできれば拡大）することであり、それを絶滅させることではありません。この努力に成功すれば、私たち人間はますます賢くなる機械と共存することについてどう感じるでしょうか？人工知能の止まらない進化が気になりますか？もしそうなら、その理由は何でしょうか？第3章では、政治的な意志があれば、AIを活用した技術が私たちの基本的なニーズ（安全や収入など）を満たすのは比較的容易であることを見ました。しかし、もしかしたら、十分な食事や衣服、住居、娯楽があっても、それだけでは不十分だと感じるかもしれません。AIが私たちの実用的なニーズや欲望をすべて満たしてくれると保証されていても、私たちはそれでもなお、動物園の動物のように意味や目的が欠けていると感じることになるのでしょうか？伝統的に、私たち人間はしばしば自己価値を基にしてきました。 人間の特異性という考え方は、私たちが地球上で最も賢い存在であり、そのためにユニークで優れているという信念です。しかし、AIの台頭は私たちにこの考えを捨てさせ、より謙虚になることを強いるでしょう。しかし、実際にはそれは私たちが本来行うべきことかもしれません。結局のところ、他者（個人、民族、種など）に対する優越感にしがみつくことは、過去にひどい問題を引き起こしてきましたし、そろそろその考え方は引退すべき時期かもしれません。実際、人間の特異性は過去に悲しみをもたらしただけでなく、人間の繁栄にとっても必要ないように思えます。もし私たちが科学や芸術、そして私たちが大切にするすべての面で、はるかに進んだ平和な地球外文明を発見したとしても、それが人々が自分の人生に意味や目的を見出すことを妨げることはないでしょう。私たちは家族や友人、広いコミュニティを持ち続け、意味や目的を与えてくれるすべての活動を続けることができるでしょう。希望としては、失うのは傲慢さだけで済むことです。未来を計画するにあたり、私たち自身の人生の意味だけでなく、宇宙そのものの意味についても考えてみましょう。 ここで、私のお気に入りの物理学者であるスティーブン・ワインバーグとフリーマン・ダイソンは、真逆の見解を代表しています。ワインバーグは、素粒子物理学の標準モデルに関する基礎的な研究でノーベル賞を受賞したことで有名で、「宇宙が理解できるほど、ますます無意味に思える」と言いました。一方、ダイソンは第6章で見たように、もっと楽観的です。彼は宇宙が無意味であることには同意しますが、生命がそれにますます意味を与えていると信じており、もし生命が宇宙全体に広がることに成功すれば、最良の未来が待っていると考えています。彼は1979年の重要な論文を次のように締めくくりました。「ワインバーグの宇宙と私の宇宙、どちらが真実に近いのでしょうか？いつか、すぐにわかるでしょう。」もし私たちの宇宙が、地球上の生命を絶滅させるか、無意識のゾンビAIが宇宙を支配することによって、再び永遠に無意識に戻ることになれば、ワインバーグの見解は完全に正当化されることになります。この視点から見ると、私たちがこの本で知性の未来に焦点を当ててきた一方で、意識の未来の方がさらに重要であることがわかります。なぜなら、意識こそが意味を可能にするからです。哲学者たちはこの区別をラテン語で表現することが好きで、知性（賢く考える能力）を感受性（主観的に質感を経験する能力）と対比させます。私たち人間は、最も賢い存在であるホモ・サピエンスとして自らのアイデンティティを築いてきました。より賢い機械に謙虚さを教えられる準備をする中で、私たちは自らをホモ・センティエンスと再ブランド化することを提案します。 結論として、「意識」の明確な定義は存在しません。私は、意識を「主観的経験」とする広範で非人間中心的な定義を用います。その意味でAIが意識を持つかどうかが、AIの台頭によって引き起こされる最も難解な倫理的および哲学的問題において重要です：AIは苦しむことができるのか？彼らには権利があるべきか？主観的な自殺としてのアップロードはどうか？AIであふれる未来の宇宙は、究極のゾンビアポカリプスとなるのか？ 知性を理解する問題は、意識に関する三つの別々の問題と混同されるべきではありません。「かなり難しい問題」とされる、どの物理システムが意識を持つかを予測する問題、「さらに難しい問題」とされるクオリアを予測する問題、そして「本当に難しい問題」とされる、なぜ何かが意識を持つのかという問題です。「かなり難しい問題」は科学的なものであり、どの脳のプロセスが意識的であるかを予測する理論は、実験的に検証可能で反証可能です。一方で、科学がどのようにして二つのより難しい問題を完全に解決できるかは現時点では不明です。神経科学の実験は、多くの行動や脳の領域が無意識であることを示唆しており、私たちの意識的な経験の多くは、膨大な量の無意識情報の後付けの要約を表しています。脳から機械への意識の予測を一般化するには理論が必要です。意識は特定の種類の粒子や場を必要とするのではなく、かなり自律的で統合された特定の情報処理の形態を必要とするようです。そのため、全体のシステムはかなり自律的ですが、その部分はそうではありません。意識が非常に非物理的に感じられるのは、意識が二重に基盤に依存しないからかもしれません。もし意識が特定の複雑な方法で情報が処理されるときの感覚であるなら、重要なのは情報処理の構造であり、情報処理を行う物質の構造ではありません。人工的な意識が可能であれば、AIの経験の可能性の空間は、私たち人間が経験できるものに比べて非常に広大であり、膨大なクオリアと時間スケールのスペクトルを網羅し、すべてが自由意志を持っている感覚を共有することになるでしょう。意識がなければ意味は存在しないため、私たちの宇宙が意識的存在に意味を与えるのではなく、意識的存在が私たちの宇宙に意味を与えているのです。これは、私たち人間がますます賢くなる機械に謙虚さを学ぶ準備をする中で、私たちが主にホモ・センティエンスであることに慰めを見出すべきことを示唆しています。 別の見解として、物質二元論があります。これは、生きている存在が無生物と異なるのは、アニマやエラン・ヴィタル、魂といった非物理的な物質を含んでいるからだという考え方です。科学者の間での物質二元論の支持は徐々に減少しています。その理由を理解するために、あなたの体が約10^29個のクォークと電子で構成されていることを考えてみてください。これらは、私たちが知る限り、単純な物理法則に従って動いています。将来の技術があなたの粒子をすべて追跡できると仮定しましょう。もしそれらが物理法則に正確に従っていることがわかった場合、あなたの主張する魂はあなたの粒子に何の影響も与えていないことになります。そうなると、あなたの意識的な心とその動きを制御する能力は魂とは無関係なものになります。もしあなたの粒子が、魂によって押し動かされているために既知の物理法則に従わないことがわかった場合、その力を引き起こしている新しい存在は、定義上、私たちが過去に新しい場や新しい粒子を研究してきたように研究できる物理的な存在となるでしょう。 *2「クオリア」という言葉を辞書の定義に従って使うと、主観的経験の個々の事例を指します。つまり、経験を引き起こすとされる物質ではなく、主観的な経験そのものを意味します。ただし、一部の人々はこの言葉を異なる意味で使うことに注意してください。*3 私はもともとRHPを「非常に難しい問題」と呼んでいましたが、この章をデイビッド・チャーマーズに見せた後、彼から「本当に難しい問題」に切り替えるという巧妙な提案を受けました。彼の意図に合わせるためです。「最初の2つの問題（少なくともこのように表現した場合）は、私が考えたハードプロブレムの一部ではなく、3つ目の問題はそうであるため、3つ目の問題には『本当に難しい』という表現を使うと、私の使い方に合うかもしれません。」*4 もし私たちの物理的現実が完全に数学的（情報に基づく、ざっくり言えば）であるなら、私の著書『私たちの数学的宇宙』で探求したように、現実のどの側面も、意識さえも、科学の範疇を超えることはありません。実際、意識の本当に難しい問題は、その観点から見ると、数学的なものがどのように物理的に感じられるかを理解するのと全く同じ問題です。もし数学的構造の一部が意識を持っているなら、それは残りの部分を自分の外部の物理的世界として経験することになります。*5 以前に「パーセプトロニウム」をセントロニウムの同義語として使ったことがありますが、その名前はあまりにも狭い定義を示唆しています。なぜなら、パーセプトは感覚入力に基づいて私たちが知覚する主観的経験に過ぎず、夢や内部で生成された思考などは含まれないからです。*6 この主張と意識が基盤に依存しないという考えとの間には潜在的な緊張があります。なぜなら、情報処理が最も低いレベルでは異なるかもしれませんが、行動を決定する高いレベルでは定義上同一だからです。エピローグ FLIチームの物語 現在の生活で最も悲しい側面は、科学が知識を集める速度が、社会が知恵を集める速度よりも速いことです。アイザック・アシモフ ここにいるのは、親愛なる読者の皆さん、知性の起源と運命、目標と意味を探求した後の本の終わりです。では、これらのアイデアをどのように行動に移すことができるのでしょうか？私たちの未来をできるだけ良いものにするために、具体的に何をすべきでしょうか？これは、2017年1月9日にサンフランシスコからボストンに向かう途中、アシロマで開催したAI会議を終えたばかりの私が今自問している質問です。この本を締めくくるにあたり、私の考えを皆さんと共有したいと思います。メイアは、準備と組織のための多くの短い夜の後、私の隣で睡眠をとっています。なんてワイルドな一週間だったのでしょう！この本で言及したほぼすべての人々を、エロン・マスクやラリー・ペイジといった起業家、ディープマインド、グーグル、フェイスブック、アップル、IBM、マイクロソフト、バイドゥなどの企業や学界のAI研究リーダー、経済学者、法学者、哲学者、その他の素晴らしい思想家たちと共に、プエルトリコの続編に数日間集めることができました（図9.1を参照）。 その結果は、私の高い期待をも上回り、久しぶりに未来の生活に対して楽観的な気持ちを抱いています。このエピローグでは、その理由をお話しします。 FLIの誕生 14歳の時に核兵器競争について学んで以来、私は私たちの技術の力が、それを管理するための知恵よりも速く成長していることを懸念してきました。そこで、私は最初の著書『私たちの数学的宇宙』にこの課題についての章をこっそりと盛り込むことにしました。残りの内容は主に物理学についてだったのですが。2014年の新年の抱負として、私は何かについて不満を言うことは許されず、自分が何をできるかを真剣に考えることに決めました。そして、その1月の書籍ツアー中にその誓いを守りました。メイアと私は、技術的な管理を通じて未来の生活を改善することに焦点を当てた非営利団体を立ち上げるためのブレインストーミングをたくさん行いました。彼女は、「破滅と暗雲の研究所」や「未来を心配しよう研究所」とはできるだけ異なるポジティブな名前を付けるべきだと主張しました。すでに「人類の未来研究所」という名前は使われていたため、私たちは「未来の生活研究所（FLI）」という名称に決まりました。この名前には、より包括的であるという利点もありました。 1月22日、書籍ツアーはサンタクルーズに向かい、カリフォルニアの太陽が太平洋に沈む中、古い友人のアンソニー・アギレと夕食を共にし、彼に私たちと力を合わせるよう説得しました。彼は私が知っている中で最も賢く理想主義的な人の一人であり、私と共に10年以上にわたり別の非営利団体である基礎的な問い研究所（http://fqxi.org）を運営してきた人物でもあります。翌週、ツアーはロンドンに向かいました。AIの未来が非常に気になっていた私は、デミス・ハサビスに連絡を取り、彼は快くDeepMindの本社に招待してくれました。彼が2年前にMITを訪れた時から、彼らがどれほど成長したかに驚かされました。Googleが約6億5000万ドルで彼らを買収したばかりで、デミスの「知能を解決する」という大胆な目標を追求する優秀な人々で満ちた広大なオフィスの風景を見て、成功が現実の可能性であるという感覚を強く抱きました。 翌晩、私は友人のヤーン・タリンとSkypeで話しました。彼が手がけたソフトウェアです。私はFLIのビジョンを説明し、1時間後には彼が私たちに賭けをしてくれることを決め、年間最大10万ドルの資金提供をしてくれることになりました。誰かが私に対して私が得た以上の信頼を寄せてくれることほど、私にとって感動的なことはありません。そのため、1年後、私が第1章で触れたプエルトリコの会議の後に、彼が「これは私が今までにした最高の投資だ」と冗談を言った時は、私にとって大きな意味を持ちました。 2017年1月のアシロマ会議、プエルトリコの続編では、AIや関連分野の研究者たちが集まりました。 左から右へ並んでいるのは、パトリック・リン、ダニエル・ウェルド、アリエル・コン、ナンシー・チャン、トム・ミッチェル、レイ・カーツワイル、ダニエル・デューイ、マーガレット・ボーデン、ピーター・ノーヴィグ、ニック・ヘイ、モシェ・ヴァルディ、スコット・シスキンド、ニック・ボストロム、フランチェスカ・ロッシ、シェーン・レッグ、マヌエラ・ヴェロソ、デイビッド・マーブル、カティア・グレース、イラクリ・ベリゼ、マーティ・テネンバウム、ギル・プラット、マーチン・リース、ジョシュア・グリーン、マット・シェラー、アンジェラ・ケイン、アマラ・アンジェリカ、ジェフ・モーア、ムスタファ・スレイマン、スティーブ・オモハンドロ、ケイト・クロフォード、ヴィタリック・ブテリン、松尾豊、ステファノ・エルモン、マイケル・ウェルマン、バス・ステューネブリンク、ウェンデル・ワラッハ、アラン・ダフォー、トビー・オード、トーマス・ディタリッチ、ダニエル・カーネマン、ダリオ・アモデイ、エリック・ドレクスラー、トマソ・ポッジオ、エリック・シュミット、ペドロ・オルテガ、デイビッド・リーク、ショーン・オヘイガータ、オウェイン・エバンズ、ヤーン・タリン、アンカ・ドラガン、ショーン・レガシック、トビー・ウォルシュ、ピーター・アサロ、ケイ・ファース・バターフィールド、フィリップ・サベス、ポール・メロラ、バート・セルマン、タッカー・デイビー、？、ジェイコブ・スタインハート、モシェ・ルックス、ジョシュ・テネンバウム、トム・グルーバー、アンドリュー・ング、カリーム・アユーブ、クレイグ・カルホーン、パーシー・リアン、ヘレン・トナー、デイビッド・チャーマーズ、リチャード・サットン、クラウディア・パッソス・フェレイラ、ヤーノシュ・クラマー、ウィリアム・マカスキル、エリエザー・ユドコフスキー、ブライアン・ジーバート、ヒュー・プライス、カール・シュルマン、ニール・ローレンス、リチャード・マラ、ユルゲン・シュミットフーバー、ディリープ・ジョージ、ジョナサン・ロスバーグ、ノア・ロスバーグ。前列には、アンソニー・アギレ、ソニア・サックス、ルーカス・ペリー、ジェフリー・サックス、ヴィンセント・コニッツァー、スティーブ・グース、ビクトリア・クラコフナ、オーウェン・コットン・バレット、ダニエラ・ラス、ディラン・ハドフィールド・メネル、ヴェリティ・ハーディング、シボン・ジリス、ローラン・オルソー、ラマナ・クマール、ネイト・ソアレス、アンドリュー・マカフィー、ジャック・クラーク、アンナ・サラモン、ロン・オウヤン、アンドリュー・クリッチ、ポール・クリスティアーノ、ヨシュア・ベンジオ、デイビッド・サンフォード、キャサリン・オルソン、ジェシカ・テイラー、マルティナ・クンツ、クリスティン・ソリソン、スチュアート・アームストロング、ヤン・ルカン、アレクサンダー・タマス、ロマン・ヤンポルスキー、マリン・ソルヤチッチ、ローレンス・クラウス、スチュアート・ラッセル、エリック・ブリンジョルフソン、ライアン・カロ、シャオラン・シュエ、メイア・チタ・テグマーク、ケント・ウォーカー、ヘザー・ロフ、メレディス・ウィッタカー、マックス・テグマーク、エイドリアン・ウェラー、ホセ・ヘルナンデス・オラロ、アンドリュー・メイナード、ジョン・ヘリング、エイブラム・デムスキー、ニコラス・ベルグルーエン、グレゴリー・ボネット、サム・ハリス、ティム・ファン、アンドリュー・スナイダー・ビーティ、マルタ・ハリナ、セバスチャン・ファーカーハ、スティーブン・ケイブ、ヤン・ライケ、ターシャ・マコーリー、ジョセフ・ゴードン＝レヴィット。後から到着したのは、グル・バナバー、デミス・ハサビス、ラオ・カンバンパティ、イーロン・マスク、ラリー・ペイジ、アンソニー・ロメロ。翌日、出版社が私のスケジュールに空き時間を作ってくれたので、ロンドンの科学博物館を訪れることにしました。知性の過去と未来について長い間考え続けていた私は、突然、自分の思考の物理的な具現化の中を歩いているように感じました。彼らは、スティーブンソンのロケット機関車からモデルTフォード、実物大のアポロ11号月面着陸船のレプリカ、バベッジの「差分機関」から現代のハードウェアに至るまで、私たちの知識の成長を表す素晴らしいコレクションを集めていました。また、ガルバーノのカエルの脚の実験から神経細胞、EEG、fMRIに至るまで、私たちの心の理解の歴史に関する展示もありました。 私は非常に滅多に泣かないのですが、その日は泣いてしまいました。南ケンジントンの地下鉄駅に向かう途中、歩行者でいっぱいのトンネルの中でのことです。周りには、自分が考えていることに全く気づかないまま日常生活を送る人々がいました。まず私たち人間は、自然のプロセスを機械で再現する方法を発見し、自分たちの風や雷、そして機械的な馬力を作り出しました。徐々に、私たちの体もまた機械であることに気づき始めました。そして神経細胞の発見が、体と心の境界を曖昧にし始めました。その後、私たちは筋肉だけでなく、心も超えることができる機械を作り始めました。私たちが自分たちが何者であるかを発見する一方で、果たして私たちは自らを時代遅れにしてしまう運命にあるのでしょうか？それは詩的に悲劇的です。この考えは私を怖がらせましたが、同時に新年の決意を貫こうとする意志を強めました。私たちのFLI創設者チームを完成させるために、理想主義的な若いボランティアチームを率いるもう一人の人が必要だと感じました。論理的な選択肢は、ハーバードの優秀な大学院生であり、国際数学オリンピックで銀メダルを獲得し、理性が自分たちの生活や世界でより大きな役割を果たすことを望む若者たちのためのシタデルを設立したヴィクトリヤ・クラコヴナでした。メイアと私は、5日後に彼女を私たちの家に招いて私たちのビジョンを伝え、寿司を食べ終わる前にFLIが誕生しました。 プエルトリコの冒険 これが素晴らしい冒険の始まりであり、今も続いています。第1章で述べたように、私たちは理想主義的な学生や教授、地元の思想家たちと共に、定期的にブレインストーミング会議を開き、そこで出た最高のアイデアがプロジェクトに変わりました。最初のプロジェクトは、第1章で触れたスティーブン・ホーキング、スチュアート・ラッセル、フランク・ウィルチェックとのAIに関するオピニオン記事で、これが公共の議論を引き起こすきっかけとなりました。新しい組織を立ち上げるための初歩的なステップ（法人化、顧問委員会の設立、ウェブサイトの立ち上げなど）を進める一方で、満員のMIT講堂の前で楽しいローンチイベントを開催し、アラン・アルダが著名な専門家たちと共に技術の未来を探求しました。2014年5月23日、FLIの法人化を祝って寿司を囲む、ヤーン・タリン、アンソニー・アギレ、私、メイア・チタ・テグマーク、ヴィクトリヤ・クラコヴナの写真です。残りの年は、私が第1章で述べたように、AIが有益であり続けるための議論に世界のトップAI研究者を巻き込むことを目的としたプエルトリコ会議の準備に集中しました。私たちの目標は、AIの安全性に関する議論を心配から行動へとシフトさせることでした。心配することについての口論から、すぐに始められる具体的な研究プロジェクトに合意することへと移行することです。準備のために、私たちは世界中から有望なAI安全性研究のアイデアを集め、成長するプロジェクトリストに対するコミュニティのフィードバックを求めました。スチュアート・ラッセルの助けを借りて、熱心な若者たちのグループと共に進めました。 ボランティアの皆さん、特にダニエル・デューイ、ヤノシュ・クラマール、リチャード・マラなどの方々のおかげで、私たちはこの研究の優先事項を会議で議論するための文書にまとめました。私たちは、AIの安全性に関する価値ある研究がたくさんあるという合意を築くことで、人々がそのような研究を始めることを促せると期待していました。最終的な目標は、これが誰かに資金提供を促すことができればというものでした。というのも、これまで政府の資金提供機関からは、こうした研究への支援がほとんどなかったからです。そこで登場したのがイーロン・マスクです。8月2日、彼は「ボストロムの『スーパーインテリジェンス』を読む価値がある。AIには非常に注意が必要だ。核兵器よりも危険な可能性がある」とツイートし、私たちの注目を集めました。数週間後、彼に私たちの取り組みについて連絡を取り、電話で話す機会を得ました。緊張し、興奮していましたが、結果は素晴らしいものでした。彼は私たちのFLI科学諮問委員会に参加し、会議に出席し、プエルトリコで発表される初のAI安全性研究プログラムに資金提供を検討することに同意してくれました。これにより、FLIの全員が興奮し、素晴らしい会議を作り、期待される研究テーマを特定し、それに対するコミュニティの支援を築くために努力を倍増させました。 2か月後、イーロンがMITで宇宙シンポジウムに参加する際に、さらなる計画のために彼に直接会うことができました。彼が千人以上のMITの学生を魅了した直後に、小さな控室で二人きりになるのは非常に奇妙な感覚でしたが、数分後には私たちの共同プロジェクトのことしか考えられませんでした。彼のことがすぐに好きになりました。彼は誠実さを放ち、人類の長期的な未来に対する関心の深さと、それを行動に移す大胆さに感銘を受けました。彼は人類が宇宙を探求し、定住することを望んでいたので、宇宙会社を立ち上げました。持続可能なエネルギーを求めて、太陽光発電会社と電気自動車会社を始めました。背が高く、ハンサムで、雄弁で、非常に知識が豊富な彼の話を聞くのは容易でした。 残念ながら、このMITのイベントでは、恐怖に駆られた分断的なメディアのあり方も教えられました。イーロンのステージパフォーマンスは、宇宙探査についての1時間の魅力的なディスカッションで構成されており、これは素晴らしいテレビ番組になったと思います。しかし、最後に学生がAIについてのオフトピックな質問をした際、彼の答えには「人工知能によって、私たちは悪魔を呼び出している」というフレーズが含まれており、これがほとんどのメディアに報じられた唯一の内容となりました—しかも文脈を無視して。多くのジャーナリストが、私たちがプエルトリコで達成しようとしていたこととは正反対のことを無意識に行っていることに気づきました。私たちが共通の基盤を強調してコミュニティの合意を築こうとしていたのに対し、メディアは分断を強調するインセンティブを持っていました。彼らが報じることができる論争が多ければ多いほど、ニールセンの視聴率や広告収入が増えるのです。 さらに、私たちは様々な意見を持つ人々が集まり、互いに理解し合う手助けをしたいと考えていましたが、メディアの報道は意図せずに意見の対立を引き起こし、文脈を無視して挑発的な発言だけを取り上げることで誤解を助長してしまいました。このため、プエルトリコでの会議ではジャーナリストの参加を禁止し、「チャタムハウスルール」を適用することにしました。このルールは、参加者が誰が何を言ったかを後で明かすことを禁じています。私たちのプエルトリコ会議は成功を収めましたが、決して簡単ではありませんでした。カウントダウンの準備には多くの努力が必要で、例えば、AI研究者に電話やスカイプで連絡を取り、大勢の参加者を集めて他の出席者を引き寄せる必要がありました。また、劇的な瞬間もありました。例えば、12月27日の朝7時に起きて、ウルグアイとの悪い電話回線でイーロンに連絡を取った際、「これはうまくいかないと思う」と言われたことです。彼はAI安全性研究プログラムが誤った安心感を与え、無謀な研究者が安全性を口先だけで重視しながら進んでしまうことを懸念していました。しかし、その後、音声が途切れがちであったにもかかわらず、私たちはこのテーマを主流にし、より多くのAI研究者がAI安全性に取り組むことの大きな利点について広く話し合いました。通話が切れた後、彼から私のお気に入りのメールの一つが届きました。「最後に通話が切れたね。とにかく、書類は問題ないよ。私はこの研究を3年間で500万ドル支援することに喜んで賛成するよ。もしかしたら1000万ドルに増やすべきかな？」 4日後、2015年はメイアと私にとって良いスタートを切りました。会議の前に少しリラックスし、花火に照らされたプエルトリコのビーチで新年を祝って踊りました。会議も素晴らしいスタートを切りました。AI安全性研究がもっと必要だという驚くべき合意があり、会議参加者からのさらなる意見を基に、私たちが一生懸命に作成した研究優先順位文書が改善され、最終化されました。第1章からの安全研究を支持するオープンレターを回覧し、ほぼ全員が署名してくれたことに喜びました。メイアと私はホテルの部屋でイーロンと魔法のような会議を持ち、彼は私たちの助成金プログラムの詳細な計画を承認してくれました。彼の私生活についての率直さや、私たちに対する関心の高さにメイアは感動しました。彼は私たちがどのように出会ったのかを尋ね、メイアの詳しい話を気に入ってくれました。翌日、私たちはAI安全性についてのインタビューを彼と撮影し、彼がそれを支持したい理由について話しました。すべてが順調に進んでいるように思えました。会議のクライマックスであるイーロンの寄付発表は、2015年1月4日の日曜日午後7時に予定されており、私はそのことで緊張しすぎて前夜は寝返りを打ってばかりでした。そして、発表が行われるセッションに向かう15分前、私たちはトラブルに直面しました！ エロンの秘書から連絡があり、エロンが発表を行うことが難しいかもしれないと言われました。メイアは、私がこれまでで最もストレスを感じ、失望しているように見えたと言いました。エロンがついにやって来て、私たちが座って話している間、セッションの開始までの秒数がカウントダウンされるのが聞こえました。彼は、彼らが重要なスペースXのロケット打ち上げまであと2日で、初めての第一段階のドローン船への成功した着陸を目指していることを説明しました。この大きなマイルストーンのため、スペースXのチームは、彼に関するメディアの注目でそれを妨げたくなかったのです。いつも冷静なアンソニー・アギレは、これがエロンもAIコミュニティもメディアの注目を望んでいないことを意味していると指摘しました。私がモデレートするセッションには数分遅れて到着しましたが、計画がありました。発表がニュース価値を持たないように、金額は一切言及しないことにし、エロンの発表を世界から9日間秘密にするためにチャタムハウスの原則を利用するつもりでした。ロケットが宇宙ステーションに到達すれば、着陸が成功したかどうかに関わらず、彼は打ち上げ時にロケットが爆発した場合はさらに時間が必要だと言いました。発表のカウントダウンがついにゼロに達しました。私がモデレートしたスーパーインテリジェンスのパネリストたち、エリイザー・ユドコウスキー、エロン・マスク、ニック・ボストロム、リチャード・マラ、マレー・シャナハン、バート・セルマン、シェーン・レッグ、バーナー・ヴィンジが、ステージ上の椅子に座っていました。拍手は次第に止まりましたが、パネリストたちは私が理由を説明せずにそのまま座っているように言ったので、席を立ちませんでした。メイアは後で、彼女の脈拍が今や成層圏に達し、テーブルの下でヴィクトリヤ・クラコフナの手をしっかりと握りしめていたと言いました。私は、これが私たちが努力し、希望し、待ち望んでいた瞬間であることを知って微笑みました。会議でAIを有益に保つためにさらなる研究が必要だという合意があったことをとても嬉しく思い、すぐに取り組める具体的な研究の方向性がたくさんあることを伝えました。しかし、このセッションでは深刻なリスクについての話もあったので、気分を高めてから外のバーやカンファレンスのバンケットに向かうのが良いだろうと付け加えました。「それでは、マイクをエロン・マスクに渡します！」エロンがマイクを持ち、AIの安全研究に多額の寄付をすると発表したとき、歴史が作られていると感じました。予想通り、彼は会場を盛り上げました。計画通り、金額は言及しませんでしたが、私たちが合意した通り、1000万ドルであることは知っていました。メイアと私は会議の後、スウェーデンとルーマニアにいる両親を訪れ、息を呑んでストックホルムで父と一緒にライブストリームのロケット打ち上げを見ました。残念ながら、着陸の試みはエロンが婉曲的に「急速な予定外の分解」と呼ぶもので終わり、成功した海上着陸を達成するには彼のチームにさらに15ヶ月かかりました。 しかし、すべての衛星は無事に軌道に投入され、イーロンが彼の数百万のフォロワーに向けてツイートしたことで、私たちの助成金プログラムも成功裏に開始されました。 プエルトリコ会議の重要な目標の一つは、AI安全性研究を主流化することでしたが、その進展を複数のステップで見ることができて非常に興奮しました。まず、会議自体があり、多くの研究者が自分たちが成長する仲間のコミュニティの一員であることを実感し、テーマに対して積極的に関与することに自信を持ち始めました。多くの参加者からの励ましに深く感動しました。たとえば、コーネル大学のAI教授バート・セルマンからは、「これほどよく組織され、刺激的で知的に刺激を与える科学会議を見たことがありません」とメールをいただきました。 次の主流化のステップは、1月11日にイーロンが「世界のトップ人工知能開発者がAI安全性研究を求める公開書簡に署名」とツイートしたことから始まりました。これにより、すぐに8000以上の署名が集まり、世界の著名なAI開発者たちも多く含まれていました。これにより、AI安全性に懸念を抱く人々が何を話しているのか知らないという主張が難しくなりました。なぜなら、これがリーディングAI研究者たちが何を話しているのか知らないことを意味するからです。この公開書簡は、世界中のメディアによって報道され、私たちが会議にジャーナリストを入れなかったことに感謝する結果となりました。書簡の中で最も警戒を促す言葉は「落とし穴」でしたが、それでも「イーロン・マスクとスティーブン・ホーキングがロボットの反乱を防ぐための公開書簡に署名」といった見出しを引き起こし、殺人ターミネーターのイラストが添えられました。私たちが目にした数百の記事の中で、最も面白かったのは、他の記事を嘲笑するもので、「骨のようなアンドロイドが人間の頭蓋骨を踏みつける光景を想起させる見出しが、複雑で変革的な技術をカーニバルのサイドショーに変えてしまう」と書かれていました。 幸いなことに、冷静なニュース記事も多くあり、私たちには新しい署名の洪水に追いつくという別の課題が生まれました。これらの署名は手動で確認する必要があり、私たちの信頼性を守り、「HAL 9000」や「ターミネーター」、「サラ・コナー」、「スカイネット」といったいたずらを排除するために必要でした。このため、そして今後の公開書簡のために、ビクトリヤ・クラコフナとヤーノシュ・クラマールが、シフト制で働くボランティアのチェック隊を組織してくれました。これには、ジェシー・ゲイレフ、エリック・ガストフレンド、レヴァティ・ヴィノス・クマールが含まれており、レヴァティがインドで眠りにつくと、エリックにバトンを渡すという形で進行しました。 三つ目の主流化のステップは、4日後にイーロンが「AI安全性研究に1000万ドルを寄付する」という発表のリンクをツイートしたときに始まりました。1週間後、私たちは世界中の研究者がこの資金に応募し、競争できるオンラインポータルを立ち上げました。私たちが申請システムをこれほど迅速に整えることができたのは、アンソニーと私が過去10年間、物理学の助成金のために同様の競技を運営してきたからです。 オープンフィランソロピー・プロジェクトは、カリフォルニアを拠点とする高インパクト寄付に焦点を当てた慈善団体で、エロンの寄付を増額することに快く同意し、私たちがより多くの助成金を提供できるようにしてくれました。新しいテーマで締切も短かったため、どれだけの応募者がいるかは分かりませんでしたが、世界中から約300チームが約1億ドルの資金を求めて応募してきたことには驚かされました。AIの教授や他の研究者からなるパネルが提案を慎重に審査し、37の受賞チームを選定し、最大3年間の資金を提供しました。受賞者リストを発表した際、私たちの活動に対するメディアの反応がこれまでにないほど多様で、殺人ロボットの画像がないものであったことは特筆すべきことでした。AIの安全性が単なる口先だけの話ではなく、実際に有用な作業があり、多くの優れた研究チームがその努力に参加しようとしていることがようやく理解され始めていました。 次の2年間で、AI安全性に関する技術的な出版物が数多く発表され、世界中で数十のワークショップが開催されるなど、第四の主流化のステップが自然に進展しました。これまで多くの人々がAIコミュニティを安全性研究に引き込もうと試みてきましたが、成功は限られていました。しかし、今や状況は一変しました。これらの出版物の多くは私たちの助成金プログラムによって資金提供され、FLIとしてもできる限り多くのワークショップを組織し資金を提供する努力をしましたが、研究者たちが自らの時間とリソースを投資することで成り立ったものも増えてきました。その結果、ますます多くの研究者が同僚から安全性研究について学び、それが有用であるだけでなく、興味深い数学的および計算的な問題を考える楽しさもあることを発見しました。もちろん、複雑な方程式が楽しいと感じる人ばかりではありません。 プエルトリコでの会議から2年後、私たちはアシロマ会議の前に技術ワークショップを開催し、FLIの助成金受賞者が研究を発表する機会を提供しました。そして、数学記号が並ぶスライドを次々と大画面で見守りました。ライス大学のAI教授モシェ・ヴァルディは、会議が退屈になった時こそAI安全性研究の分野が確立された証拠だと冗談を言いました。このAI安全性の取り組みの急成長は学界に限ったものではありませんでした。アマゾン、ディープマインド、フェイスブック、グーグル、IBM、マイクロソフトは、利益をもたらすAIのための産業パートナーシップを立ち上げました。主要な新たなAI安全性への寄付が、私たちの最大の非営利姉妹団体であるバークレーの機械知能研究所、オックスフォードの人類の未来研究所、ケンブリッジ（イギリス）の存在リスク研究センターでの研究を拡大することを可能にしました。さらに、1,000万ドル以上の寄付が、ケンブリッジのレバーヒューム未来知能センター、ピッツバーグのK&Lゲイツ倫理と計算技術基金、マイアミの人工知能の倫理とガバナンス基金などの追加的な利益をもたらすAIの取り組みを始動させました。 最後に、エロン・マスクは10億ドルのコミットメントをもって他の起業家たちと提携し、サンフランシスコにて有益なAIを追求する非営利団体OpenAIを立ち上げました。AIの安全性に関する研究はここに定着しました。この研究の急増に伴い、個人および集団として意見が表明されることも増えました。業界の「AIに関するパートナーシップ」はその設立理念を発表し、アメリカ政府、スタンフォード大学、IEEE（世界最大の技術専門家団体）などから長大な報告書や推奨リストが発表され、他の多くの報告書や立場文書も発表されました。 私たちは、アシロマの参加者たちの間で意味のある議論を促進し、この多様なコミュニティが何に同意しているのかを学ぶことに熱心でした。そこで、ルーカス・ペリーは、見つけたすべての文書を読み、その意見を抽出するという英雄的な任務を引き受けました。アンソニー・アギレによって始められ、長時間の電話会議で締めくくられたマラソンのような努力の中で、私たちFLIチームは似た意見をまとめ、冗長な官僚的表現を取り除いて、簡潔な原則のリストを作成しました。このリストには、非公式な会話や他の場で表明された影響力のある意見も含まれていました。しかし、このリストには依然として多くの曖昧さ、矛盾、解釈の余地があったため、会議の1か月前に参加者と共有し、改善や新しい原則に関する意見や提案を集めました。このコミュニティからのフィードバックにより、会議で使用するための原則リストが大幅に改訂されました。 アシロマでは、このリストはさらに2段階で改善されました。まず、小グループが最も関心のある原則について議論し（図9.4）、詳細な改良、フィードバック、新しい原則、古い原則の競合バージョンを生み出しました。最後に、すべての参加者にアンケートを実施し、各原則の各バージョンに対する支持のレベルを測定しました。図9.3：アシロマでAIの原則を考える偉大な頭脳たちのグループ。この集団的プロセスは徹底的であり、同時に疲労を伴うものでした。アンソニー、メイア、私の3人は、次のステップに必要なすべてを時間内にまとめるために、会議中の睡眠や昼食の時間を削ることになりました。しかし、それは同時に刺激的でもありました。詳細で難解、時には対立する議論を経て、最終的なアンケートでは多くの原則に対して高い合意が得られたことに驚かされました。中には97%以上の支持を得たものもありました。この合意により、最終リストに含めるための高い基準を設定することができました。私たちは、少なくとも90%の参加者が同意した原則のみを残しました。これにより、人気のある原則のいくつかが最後の瞬間に削除されることになりましたが、私の個人的なお気に入りも含まれていました。それでも、ほとんどの参加者が、講堂で回覧したサインアップシートにすべての原則を快く支持することができました。こちらがその結果です。 アシロマAI原則 人工知能（AI）はすでに、世界中の人々が日々利用する有益なツールを提供しています。今後の数十年、数世代にわたるその発展は、以下の原則に導かれることで、人々を支援し、力を与える素晴らしい機会をもたらすでしょう。 **研究の課題** §1 研究目標：AI研究の目標は、無方向性の知能を創出することではなく、有益な知能を創出することです。 §2 研究資金：AIへの投資は、その有益な利用を確保するための研究資金とともに行われるべきです。これには、コンピュータサイエンス、経済学、法律、倫理、社会学などの難しい問題が含まれます。例えば： (a) 未来のAIシステムをどのようにして非常に堅牢にし、故障やハッキングなしに私たちの望むことを実行させることができるか？ (b) 自動化を通じて繁栄をどうやって育みつつ、人々の資源と目的を維持するか？ (c) AIに対応し、AIに関連するリスクを管理するために、私たちの法制度をどのように更新すればより公正で効率的になるか？ AIはどのような価値観に沿って設計されるべきか、またその法的および倫理的地位はどうあるべきか？ **科学と政策の連携**：AI研究者と政策立案者の間には、建設的で健全な交流が必要です。 **研究文化**：AIの研究者や開発者の間には、協力、信頼、透明性の文化を育むべきです。 §5 競争回避：AIシステムを開発するチームは、安全基準を軽視しないよう積極的に協力するべきです。 **倫理と価値観** §6 安全性：AIシステムは、その運用期間中、安全であり、適用可能かつ実現可能な場合には検証可能であるべきです。 §7 失敗の透明性：AIシステムが害を及ぼした場合、その理由を明らかにできるべきです。 §8 司法の透明性：自律システムが司法判断に関与する場合、適切な人間の権限によって監査可能な満足のいく説明を提供するべきです。 §9 責任：高度なAIシステムの設計者や構築者は、その使用、誤用、行動の道徳的影響に関与する利害関係者であり、その影響を形作る責任と機会を持っています。 §10 価値の整合性：高度に自律的なAIシステムは、その目標と行動が運用中に人間の価値観と整合することが保証されるように設計されるべきです。 §11 人間の価値：AIシステムは、人間の尊厳、権利、自由、文化的多様性の理想と互換性を持つように設計され、運用されるべきです。 §12 個人のプライバシー：人々は、AIシステムがそのデータを分析し利用する力を持つことを考慮し、自らが生成したデータにアクセスし、管理し、制御する権利を持つべきです。 §13 自由とプライバシー：個人データへのAIの適用は、人々の実際の自由または認識された自由を不当に制限してはなりません。 §14 共有の利益：AI技術は、できるだけ多くの人々に利益をもたらし、力を与えるべきです。 §15 共有の繁栄：AIによって生み出された経済的繁栄は広く共有され、人類全体に利益をもたらすべきです。 §16 人間のコントロール：人間は、AIシステムにどのように、またはどの程度意思決定を委任するかを選択し、人間が選んだ目標を達成するべきです。非逆転：高度に進化したAIシステムの制御によって与えられる力は、社会の健康が依存する社会的および市民的プロセスを侵害するのではなく、尊重し改善するものでなければなりません。 §18 武器競争：致死的な自律兵器に関する武器競争は避けるべきです。 長期的な課題 §19 能力に関する注意：合意がないため、将来のAI能力の上限に関して強い仮定を避けるべきです。§20 重要性：高度なAIは地球上の生命の歴史において深遠な変化をもたらす可能性があり、§21 それに対しては相応の注意とリソースをもって計画し管理する必要があります。リスク：AIシステムがもたらすリスク、特に壊滅的または存在的リスクは、その予想される影響に見合った計画と軽減策の対象とされるべきです。再帰的自己改善：急速に質や量が増加する可能性のある方法で再帰的に自己改善または自己複製するように設計されたAIシステムは、厳格な安全性と制御措置の対象とされるべきです。§23 公共の利益：超知能は、広く共有された倫理的理想のために、またすべての人類の利益のためにのみ開発されるべきであり、特定の国家や組織のためではありません。 私たちが原則をオンラインで公開した後、署名者リストは劇的に増加し、現在では1000人以上のAI研究者や多くの著名な思想家が名を連ねています。もしあなたも署名者として参加したい場合は、こちらからできます：http://futureoflife.org/ai-principles。私たちは、原則に関する合意のレベルだけでなく、それらの強さにも驚かされました。確かに、最初の印象では「平和、愛、母性は価値がある」と同じくらい物議を醸すように聞こえるものもあります。しかし、多くの原則には実際に強い意味があり、それを否定する形で示すことが最も簡単です。例えば、「超知能は不可能だ！」は§19に違反し、「AIからの存在的リスクを減少させる研究は完全に無駄だ！」は§21に違反します。実際、私たちの長期的なパネルディスカッションをYouTubeで視聴すれば、エロン・マスク、スチュアート・ラッセル、レイ・カーツワイル、デミス・ハサビス、サム・ハリス、ニック・ボストロム、デイビッド・チャルマーズ、バート・セルマン、ヤーン・タリンが全員、超知能が開発される可能性が高く、安全性研究が重要であることに同意していることがわかります。私は、アシロマAI原則がより詳細な議論の出発点となり、最終的には合理的なAI戦略や政策につながることを期待しています。この精神のもと、私たちのFLIメディアディレクターであるアリエル・コーンは、タッカー・デイビーや他のチームメンバーと協力して、原則についての主要なAI研究者へのインタビューを行い、彼らがそれをどのように解釈しているかを探りました。また、デイビッド・スタンリーと彼の国際的なFLIボランティアチームは、原則を主要な世界言語に翻訳しました。 マインドフル・オプティミズム このエピローグの冒頭で告白したように、私は久しぶりに未来の生活に対して非常に楽観的な気持ちを抱いています。その理由を説明するために、私の個人的なストーリーを共有しました。ここ数年の経験が、私の楽観主義を二つの異なる理由で高めてくれました。まず第一に、AIコミュニティが驚くべき形で団結し、他の分野の思想家たちと協力しながら、これからの課題に建設的に取り組む姿を目の当たりにしました。エロンはアシロマ会議の後、AIの安全性が数年で周辺的な問題から主流の話題に変わったことに驚いていると私に話してくれましたが、私自身も同じように驚いています。そして今や、章3で取り上げた短期的な問題だけでなく、アシロマAI原則に見られるような超知能や存在リスクについても、尊重される議論のトピックとなっています。2年前にプエルトリコで採択されることはあり得なかった原則が、今では受け入れられています。その時、オープンレターに載った最も恐ろしい響きの言葉は「落とし穴」でした。 私は人間観察が好きで、アシロマ会議の最終日の朝、講堂の横に立ってAIと法律についての議論を聞いている参加者たちを見ていました。驚いたことに、心温まる感情が私を包み込み、突然とても感動しました。これはプエルトリコとは全く違う感覚でした！あの時、私はAIコミュニティのほとんどを尊敬と恐れの入り混じった目で見ていました。対立するチームというわけではなく、私やAIに関心を持つ同僚たちが説得しなければならないグループとして捉えていました。しかし今では、私たちが同じチームであることが明らかに感じられます。この本を読んでいるあなたもおそらく気づいていると思いますが、私はAIを使って素晴らしい未来を創造する方法についての答えをまだ持っていません。それでも、共に答えを探し求める成長するコミュニティの一員であることは素晴らしいことです。 私がより楽観的になった第二の理由は、FLIの経験が力を与えてくれたことです。ロンドンで涙を流したのは、未来が避けられないものであり、私たちには何もできないという感覚からでした。しかし、その後の3年間で私の運命論的な憂鬱は解消されました。たとえ無給のボランティアの寄せ集めでも、私たちの時代で最も重要な議論にポジティブな影響を与えることができるのなら、私たち全員が協力すればどんなことができるか想像してみてください！エリック・ブリンジョルフソンはアシロマの講演で二種類の楽観主義について語りました。まず無条件の楽観主義、たとえば明日の朝太陽が昇るというポジティブな期待があります。そして彼が「マインドフル・オプティミズム」と呼んだものがあり、これは慎重に計画し、一生懸命に努力すれば良いことが起こるという期待です。これが、私が今感じている未来に対する楽観主義の形です。 では、AIの時代に入る中で、未来の生活にポジティブな影響を与えるためにあなたは何ができるでしょうか？これから説明する理由から、私はそう考えています。 素晴らしい第一歩は、もしまだそうでないなら、マインドフルな楽観主義者になることに取り組むことです。成功したマインドフルな楽観主義者になるためには、未来に対するポジティブなビジョンを育むことが重要です。MITの学生がキャリアアドバイスを求めて私のオフィスに来ると、私はまず彼らに10年後の自分をどう想像しているかを尋ねます。もし学生が「バスにひかれて、癌病棟にいるか、墓地にいるかもしれません」と答えたら、私は彼女をからかうでしょう。ネガティブな未来だけを想像するのは、キャリアプランニングにおいて非常に悪いアプローチです！病気や事故を避けることに100%の努力を注ぐのは、ヒポコンドリーや偏執病を引き起こす素晴らしいレシピであり、幸せにはつながりません。むしろ、彼女が熱意を持って目標を語るのを聞きたいと思います。その後、私たちは落とし穴を避けながら、そこに到達するための戦略について話し合うことができます。 エリックは、ゲーム理論によれば、ポジティブなビジョンが結婚や企業の合併、さらには独立した国家がアメリカ合衆国を形成する決定に至るまで、世界の多くの協力の基盤を形成していることを指摘しました。結局のところ、より大きな利益を想像できないのに、持っているものを犠牲にする理由はありません。これは、私たちが自分自身だけでなく、社会や人類全体のためにもポジティブな未来を想像する必要があることを意味します。言い換えれば、私たちはもっと存在的な希望を必要としています！しかし、メイアが私に思い出させるように、フランケンシュタインからターミネーターに至るまで、文学や映画における未来的なビジョンは主にディストピア的です。つまり、私たち社会はその仮想のMIT学生と同じくらい未来を計画するのが下手なのです。だからこそ、私たちはもっとマインドフルな楽観主義者を必要としています。そして、この本を通じて、あなたが恐れている未来だけでなく、どのような未来を望むのかを考えるように促してきた理由でもあります。共通の目標を見つけて、それに向かって計画し、働くためです。 この本を通じて、AIが私たちに大きな機会と厳しい挑戦の両方をもたらす可能性があることを見てきました。AIの課題に対処するために役立つ戦略は、私たちが行動を整え、AIが本格的に発展する前に人間社会を改善することです。技術に大きな力を委譲する前に、若者を教育して技術を堅牢で有益なものにする方が良いのです。技術が法律を時代遅れにする前に、法律を現代化する方が良いのです。国際的な対立が自律兵器の軍拡競争にエスカレートする前に解決する方が良いのです。AIが不平等を拡大する前に、すべての人に繁栄をもたらす経済を創造する方が良いのです。AIの安全性研究の結果が無視されるのではなく、実施される社会の方が良いのです。そして、超人的なAGIに関連する課題を見据えた場合、強力な機械にこれらの基本的な倫理基準を教え始める前に、少なくともいくつかの基本的な倫理基準に合意する方が良いのです。 分極化し混沌とした世界において、悪意のある目的でAIを利用する力を持つ人々は、ますますその動機と能力を高めていくでしょう。また、AGIを構築するために競い合うチームは、安全性を犠牲にする圧力を感じることが多く、協力するよりも手を抜くことに走るかもしれません。要するに、共通の目標に向けて協力し合う、より調和のとれた人間社会を築くことができれば、AI革命が良い形で終わる可能性が高まります。言い換えれば、未来の生活を改善するための最良の方法の一つは、明日をより良くすることです。あなたには、そのための力が多くの方法であります。もちろん、投票所で投票し、教育、プライバシー、致死性自律兵器、技術的失業などの問題について政治家に意見を伝えることもできます。しかし、あなたは毎日、購入するもの、消費するニュース、共有する内容、そしてどのようなロールモデルになるかを選ぶことで投票しています。スマートフォンをチェックして会話を中断する人になりたいですか、それとも計画的かつ意図的に技術を活用することで力を感じる人になりたいですか？技術を所有したいですか、それとも技術に所有されたいですか？AIの時代において、人間であることは何を意味すると思いますか？これらのことを周囲の人々と話し合ってください。それは重要な会話であるだけでなく、魅力的なものでもあります。私たちは、AIの時代を形作る中で、未来の生活の守護者です。ロンドンで涙を流した私ですが、今はこの未来が必然的なものではないと感じており、思っていたよりも変化をもたらすのはずっと簡単だと知っています。私たちの未来は石に刻まれたものではなく、ただ待っているものではありません。それは私たちが創り出すものです。共にインスピレーションに満ちた未来を創りましょう！* この経験を通じて、私自身がニュースをどのように解釈すべきかを再考するきっかけにもなりました。ほとんどのメディアが独自の政治的アジェンダを持っていることは明らかでしたが、今ではそれらがすべての問題、政治的でないものに対しても中心からの偏りを持っていることに気づきました。